Miért fontos a statisztikai szignifikancia?
Fedezze fel, miért számít a statisztikai szignifikancia az adatelemzésben, a kutatásban és az üzleti döntésekben. Ismerje meg a p-értékeket, a hipotézisvizsgála...
9 perc olvasás
Ezen az oldalon
- Mi az a statisztikai szignifikancia?
- Hogyan működik a statisztikai szignifikancia?
- A 0,05 statisztikailag szignifikáns? (és más küszöbértékek)
- A statisztikai szignifikanciát befolyásoló tényezők
- Hogyan számítsuk ki a statisztikai szignifikanciát?
- Statisztikai szignifikancia az affiliate marketingben
- Korlátok és gyakori tévhitek
Mi az a statisztikai szignifikancia?
Az alapdefiníció
A statisztikai szignifikancia annak a valószínűsége, hogy két vagy több változó közötti kapcsolatot nem a véletlen okozza. Formális megfogalmazásban: annak a valószínűsége, hogy egy megfigyelt különbség — vagy annál szélsőségesebb — bekövetkezne, ha a nullhipotézis (a valódi hatás hiányának feltételezése) igaz lenne.
Statisztikai szignifikancia és a véletlen esély
Minden adathalmaz tartalmaz véletlenszerű változást — azt a természetes ingadozást, amely akkor is fellép, ha nincs mögöttes hatás. Dobj fel egy szabályos érmét 100-szor, és ritkán kapsz pontosan 50 fejet. Ez az eltérés véletlen zaj, nem pedig bizonyíték arra, hogy az érme elfogult.
A statisztikai szignifikancia azt számszerűsíti, hogy a látott eltérés a mintanagysághoz képest elég nagy-e ahhoz, hogy pusztán véletlen zaj mellett valószínűtlen legyen. Ha igen, elutasíthatod a nullhipotézist, és megállapíthatod, hogy nagy valószínűséggel valódi hatás áll fenn.
Két kapcsolódó fogalom segít itt:
- Véletlen esély: annak a valószínűsége, hogy egy megfigyelt különbség tisztán a mintavételi változékonyságból ered.
- Véletlenszerű változás (vagy véletlen zaj): bármely mérési folyamat belső kiszámíthatatlansága. A nagyobb minták csökkentik a hatását, így a valódi hatások könnyebben felismerhetők.
Egy egyszerű, valós példa
Tegyük fel, hogy online boltot működtetsz, és a termékoldal két változatát teszteled. Az A változat konverziós aránya 4,2%. A B változaté 4,8%. Ez 0,6 százalékpontos különbség — de valódi?
Ha a p-érték viszont 0,30 lenne, ugyanez a különbség teljesen összeegyeztethető lenne a véletlennel — és erre alapozva cselekedni idő előtti lenne.
Indítsd el affiliate programodat még ma
Állítsd be a fejlett nyomkövetést percek alatt. Bankkártya nem szükséges.
Hogyan működik a statisztikai szignifikancia?
A nullhipotézis és az alternatív hipotézis
Minden szignifikanciateszt két egymással versengő állítással indul:
- Nullhipotézis (H₀): nincs valódi különbség vagy kapcsolat. Bármely megfigyelt különbség véletlenszerű változásnak tulajdonítható.
- Alternatív hipotézis (H₁): valódi különbség vagy kapcsolat áll fenn.
A p-értékek megértése
Elkerülendő gyakori félreértelmezések:
- A p = 0,03 NEM azt jelenti, hogy 3% esély van arra, hogy a nullhipotézis igaz. Az adatoknak a nullhipotézis melletti valószínűségét írja le, nem pedig a nullhipotézis valószínűségét az adatok ismeretében.
- A p = 0,03 NEM azt jelenti, hogy a hatás 97%-os valószínűséggel valódi. A p-érték semmit nem mond arról, hogy mekkora a valószínűsége annak, hogy az alternatív hipotézis helyes.
- A 0,05 feletti p-érték NEM bizonyítja a nullhipotézist. Csupán azt jelenti, hogy az adatok nem elég meglepőek ahhoz, hogy elutasítsuk — ami egészen más állítás.
Szignifikanciaszintek (alfa)
A szignifikanciaszint, amelyet α (alfa) jelöl, az a küszöbérték, amelyet a teszt futtatása előtt állítasz be. A hamis pozitív eredmények — azaz amikor elutasítod a nullhipotézist, pedig az igaz — iránti toleranciádat fejezi ki. Ezt I. típusú hibának is nevezik.
| Küszöbérték | Jelentés | Hamis pozitív kockázata |
|---|---|---|
| α = 0,05 | A legtöbb területen szabványos | 5% (20-ból 1) |
| α = 0,01 | Szigorúbb; akkor használják, ha a hamis pozitív eredmények költségesek | 1% (100-ból 1) |
| α = 0,001 | Nagyon szigorú; nagy tétekkel járó döntések | 0,1% (1000-ből 1) |
Ha p < α, az eredmény statisztikailag szignifikáns az adott szinten.
A konfidenciaintervallumok magyarázata
A konfidenciaintervallum a valódi hatásméret elfogadható értékeinek tartományát adja meg. A 95%-os konfidenciaintervallum azt jelenti: ha 100-szor megismételnéd a vizsgálatot, körülbelül 95 ilyen intervallum tartalmazná a valódi értéket.
A szűkebb intervallumok pontosabb becslésekre utalnak — ez jellemzően nagyobb mintanagyság eredménye. Üzleti kontextusban a konfidenciaintervallumok gyakran informatívabbak, mint önmagukban a p-értékek, mert megmutatják a hatás nagyságát és irányát is, nem csak azt, hogy létezik-e.
A 0,05 statisztikailag szignifikáns? (és más küszöbértékek)
A 0,05-ös konvenció
Igen — a legtöbb alkalmazott területen a p < 0,05 a statisztikai szignifikancia megállapításának szabványa. Ez a konvenció Ronald Fisher 1920-as évekbeli munkásságára vezethető vissza, és bár némileg önkényes, azért maradt fenn, mert két kockázatot egyensúlyoz ki: a hamis pozitív (I. típusú) és a hamis negatív (II. típusú, amikor valódi hatást nem veszünk észre) eredményekét.
0,01 vs. 0,05: melyik a szignifikánsabb?
A 0,01-es p-érték statisztikailag szignifikánsabb, mint a 0,05, mert kisebb valószínűséget jelez arra, hogy a megfigyelt eredmény a véletlen műve. α = 0,01 mellett csupán 1%-os hamis pozitív kockázatot vállalsz, szemben az α = 0,05 melletti 5%-kal.
Ugyanakkor az alacsonyabb p-érték nem feltétlenül jelent nagyobb vagy fontosabb hatást. Óriási minta esetén még egy jelentéktelenül kicsi különbség is eredményezhet p < 0,001 értéket. Ezért kell a hatásméretet és a gyakorlati jelentőséget is a p-érték mellett értékelni.
Iratkozz fel hírlevelünkre
Értesülj elsőként az új funkciókról és termékfrissítésekről.
A statisztikai szignifikanciát befolyásoló tényezők
Mintanagyság
A mintanagyság a legerősebb befolyásoló tényező. A nagyobb minták csökkentik a véletlenszerű változás hatását, így könnyebb felismerni a valódi különbségeket. Ezért lehet egy 2%-os konverziós növekedés szignifikáns 50 000 látogatónál, de nem 500-nál.
Hatásméret
A hatásméret a megfigyelt különbség nagyságát méri — nem csak azt, hogy létezik-e. A nagy hatásméret (pl. 30%-os konverziós növekedés) gyorsabban és kisebb mintával éri el a szignifikanciát. A jelentéktelen hatásméret (pl. 0,5%) viszont óriási mintát igényel a megbízható kimutatáshoz.
Itt válik kritikussá a statisztikai szignifikancia és a gyakorlati jelentőség közötti kapcsolat. Egy megállapítás lehet statisztikailag szignifikáns, ugyanakkor gyakorlatilag irreleváns, ha a hatás túl kicsi ahhoz, hogy számítson az üzleti döntéseknél.
Adatminőség
Egyetlen statisztikai teszt sem tudja ellensúlyozni a rossz adatokat. A gyakori adatminőségi problémák:
- Szelekciós torzítás: a minta nem reprezentálja a célpopulációt.
- Mérési hiba: a nyomon követett mutató megbízhatatlan vagy következetlen.
- Zavaró változók: egy nem mért tényező okozza a megfigyelt különbséget.
A statisztikai szignifikancia kiszámítása előtt ellenőrizd, hogy az adatgyűjtés tiszta, konzisztens és mentes a szisztematikus torzítástól. A hibás adatokból származó szignifikáns eredmény rosszabb, mint a semmilyen eredmény.
Statisztikai erő
Az erő a mintanagyságtól, a hatásmérettől és a választott szignifikanciaszinttől függ. Az alacsony statisztikai erejű vizsgálatok gyakori okai annak, hogy az ígéretesnek tűnő A/B-teszt-eredmények nem reprodukálhatók.
Az alapdefiníció
A statisztikai szignifikancia annak a valószínűsége, hogy két vagy több változó közötti kapcsolatot nem a véletlen okozza. Formális megfogalmazásban: annak a valószínűsége, hogy egy megfigyelt különbség — vagy annál szélsőségesebb — bekövetkezne, ha a nullhipotézis (a valódi hatás hiányának feltételezése) igaz lenne.
A keretrendszer a hipotézistesztelésből származik, amely a statisztikai elemzésnek a 20. század elején Ronald Fisher által kidolgozott, majd Jerzy Neyman és Egon Pearson által továbbfejlesztett ága.
Statisztikai szignifikancia és a véletlen esély
Minden adathalmaz tartalmaz véletlenszerű változást — azt a természetes ingadozást, amely akkor is fellép, ha nincs mögöttes hatás. Dobj fel egy szabályos érmét 100-szor, és ritkán kapsz pontosan 50 fejet. Ez az eltérés véletlen zaj, nem pedig bizonyíték arra, hogy az érme elfogult.
A statisztikai szignifikancia azt számszerűsíti, hogy a látott eltérés a mintanagysághoz képest elég nagy-e ahhoz, hogy pusztán véletlen zaj mellett valószínűtlen legyen. Ha igen, elutasíthatod a nullhipotézist, és megállapíthatod, hogy nagy valószínűséggel valódi hatás áll fenn.
Két kapcsolódó fogalom segít itt:
- Véletlen esély: annak a valószínűsége, hogy egy megfigyelt különbség tisztán a mintavételi változékonyságból ered.
- Véletlenszerű változás (vagy véletlen zaj): bármely mérési folyamat belső kiszámíthatatlansága. A nagyobb minták csökkentik a hatását, így a valódi hatások könnyebben felismerhetők.
Egy egyszerű, valós példa
Tegyük fel, hogy online boltot működtetsz, és a termékoldal két változatát teszteled. Az A változat konverziós aránya 4,2%. A B változaté 4,8%. Ez 0,6 százalékpontos különbség — de valódi?
Futtatsz egy statisztikai tesztet. A p-érték 0,03 lesz.
Ha a p-érték viszont 0,30 lenne, ugyanez a különbség teljesen összeegyeztethető lenne a véletlennel — és erre alapozva cselekedni idő előtti lenne.
A nullhipotézis és az alternatív hipotézis
Minden szignifikanciateszt két egymással versengő állítással indul:
- Nullhipotézis (H₀): nincs valódi különbség vagy kapcsolat. Bármely megfigyelt különbség véletlenszerű változásnak tulajdonítható.
- Alternatív hipotézis (H₁): valódi különbség vagy kapcsolat áll fenn.
A teszt nem bizonyítja közvetlenül a H₁-t.
Ez a keretrendszer közvetlenül alkalmazható az A/B-tesztelésre.
A p-értékek megértése
Elkerülendő gyakori félreértelmezések:
- A p = 0,03 NEM azt jelenti, hogy 3% esély van arra, hogy a nullhipotézis igaz. Az adatoknak a nullhipotézis melletti valószínűségét írja le, nem pedig a nullhipotézis valószínűségét az adatok ismeretében.
- A p = 0,03 NEM azt jelenti, hogy a hatás 97%-os valószínűséggel valódi. A p-érték semmit nem mond arról, hogy mekkora a valószínűsége annak, hogy az alternatív hipotézis helyes.
- A 0,05 feletti p-érték NEM bizonyítja a nullhipotézist. Csupán azt jelenti, hogy az adatok nem elég meglepőek ahhoz, hogy elutasítsuk — ami egészen más állítás.
Szignifikanciaszintek (alfa)
A szignifikanciaszint, amelyet α (alfa) jelöl, az a küszöbérték, amelyet a teszt futtatása előtt állítasz be. A hamis pozitív eredmények — azaz amikor elutasítod a nullhipotézist, pedig az igaz — iránti toleranciádat fejezi ki. Ezt I. típusú hibának is nevezik.
| Küszöbérték | Jelentés | Hamis pozitív kockázata |
|---|---|---|
| α = 0,05 | A legtöbb területen szabványos | — |
| α = 0,01 | Szigorúbb; akkor használják, ha a hamis pozitív eredmények költségesek | — |
| α = 0,001 | Nagyon szigorú; nagy tétekkel járó döntések | — |
Ha p < α, az eredmény statisztikailag szignifikáns az adott szinten.
A konfidenciaintervallumok magyarázata
A konfidenciaintervallum a valódi hatásméret elfogadható értékeinek tartományát adja meg. A 95%-os konfidenciaintervallum azt jelenti: ha 100-szor megismételnéd a vizsgálatot, körülbelül 95 ilyen intervallum tartalmazná a valódi értéket.
A szűkebb intervallumok pontosabb becslésekre utalnak — ez jellemzően nagyobb mintanagyság eredménye. Üzleti kontextusban a konfidenciaintervallumok gyakran informatívabbak, mint önmagukban a p-értékek, mert megmutatják a hatás nagyságát és irányát is, nem csak azt, hogy létezik-e.
A 0,05-ös konvenció
Igen — a legtöbb alkalmazott területen a p < 0,05 a statisztikai szignifikancia megállapításának szabványa. Ez a konvenció Ronald Fisher 1920-as évekbeli munkásságára vezethető vissza, és bár némileg önkényes, azért maradt fenn, mert két kockázatot egyensúlyoz ki: a hamis pozitív (I. típusú) és a hamis negatív (II. típusú, amikor valódi hatást nem veszünk észre) eredményekét.
0,01 vs. 0,05: melyik a szignifikánsabb?
A 0,01-es p-érték statisztikailag szignifikánsabb, mint a 0,05, mert kisebb valószínűséget jelez arra, hogy a megfigyelt eredmény a véletlen műve. α = 0,01 mellett csupán 1%-os hamis pozitív kockázatot vállalsz, szemben az α = 0,05 melletti 5%-kal.
Ugyanakkor az alacsonyabb p-érték nem feltétlenül jelent nagyobb vagy fontosabb hatást. Óriási minta esetén még egy jelentéktelenül kicsi különbség is eredményezhet p < 0,001 értéket. Ezért kell a hatásméretet és a gyakorlati jelentőséget is a p-érték mellett értékelni.
Amikor p < 0,001
A 0,001 alatti p-érték azt jelenti, hogy a megfigyelt eredmény a véletlen folytán 1000-ből kevesebb mint 1 esetben fordulna elő, ha a nullhipotézis igaz lenne. Ez erős bizonyíték a nullhipotézis ellen — de még mindig nem garantálja a gyakorlati jelentőséget.
Mintanagyság
A mintanagyság a legerősebb befolyásoló tényező. A nagyobb minták csökkentik a véletlenszerű változás hatását, így könnyebb felismerni a valódi különbségeket. Ezért lehet egy 2%-os konverziós növekedés szignifikáns 50 000 látogatónál, de nem 500-nál.
Kis forgalmú webhelyeknél ez azt jelenti, hogy a teszteknek hosszabb ideig kell futniuk, vagy nagyobb hatású változtatásokra kell irányulniuk.
Hatásméret
A hatásméret a megfigyelt különbség nagyságát méri — nem csak azt, hogy létezik-e. A nagy hatásméret (pl. 30%-os konverziós növekedés) gyorsabban és kisebb mintával éri el a szignifikanciát. A jelentéktelen hatásméret (pl. 0,5%) viszont óriási mintát igényel a megbízható kimutatáshoz.
Itt válik kritikussá a statisztikai szignifikancia és a gyakorlati jelentőség közötti kapcsolat. Egy megállapítás lehet statisztikailag szignifikáns, ugyanakkor gyakorlatilag irreleváns, ha a hatás túl kicsi ahhoz, hogy számítson az üzleti döntéseknél.
Adatminőség
Egyetlen statisztikai teszt sem tudja ellensúlyozni a rossz adatokat. A gyakori adatminőségi problémák:
- Szelekciós torzítás: a minta nem reprezentálja a célpopulációt.
- Mérési hiba: a nyomon követett mutató megbízhatatlan vagy következetlen.
- Zavaró változók: egy nem mért tényező okozza a megfigyelt különbséget.
A statisztikai szignifikancia kiszámítása előtt ellenőrizd, hogy az adatgyűjtés tiszta, konzisztens és mentes a szisztematikus torzítástól. A hibás adatokból származó szignifikáns eredmény rosszabb, mint a semmilyen eredmény.
Statisztikai erő
A statisztikai erő annak a valószínűsége, hogy a teszt valódi hatást észlel, ha az létezik. A II. típusú hibaarány (β) komplementere.
Az erő a mintanagyságtól, a hatásmérettől és a választott szignifikanciaszinttől függ. Az alacsony statisztikai erejű vizsgálatok gyakori okai annak, hogy az ígéretesnek tűnő A/B-teszt-eredmények nem reprodukálhatók.
Hogyan számítsuk ki a statisztikai szignifikanciát?
Gyakori statisztikai tesztek
A különböző adattípusok más-más tesztet igényelnek:
| Teszt | Felhasználási eset | Példa |
|---|---|---|
| T-próba | Két csoport átlagának összehasonlítása | Konverziós arányok: A változat vs. B változat |
| Khi-négyzet próba | Kategorikus gyakoriságok összehasonlítása | Átkattintási arányok több hirdetési kreatív esetén |
| Z-próba | Arányok összehasonlítása nagy mintákkal | Céloldal-konverziós arányok |
| ANOVA | Átlagok összehasonlítása három vagy több csoport között | Teljesítmény több affiliate partner esetén |
Online kalkulátorok és eszközök használata
Nem kell kézzel kiszámolnod a statisztikai szignifikanciát. A széles körben használt eszközök közé tartoznak:
- A/B-tesztelő platformok (Optimizely, VWO, Google Optimize) — beépített szignifikancia-számítás
- Önálló kalkulátorok (Evan Miller eszközei, AB Testguide) — ingyenes, webalapú
- Statisztikai szoftverek (R, Python SciPy, SPSS) — egyedi elemzésekhez
A legtöbb eszköz mind a p-értéket, mind a konfidenciaintervallumot megadja. Döntés előtt mindig ellenőrizd mindkettőt.
Lépésről lépésre: A/B-tesztelési munkafolyamat
- Határozd meg a mutatót: Válassz egyetlen elsődleges mutatót (konverziós arány, átkattintási arány, látogatónkénti bevétel).
- Számítsd ki a szükséges mintanagyságot: Mintanagyság-kalkulátort használj az alapkonverziós arány és a minimálisan észlelhető hatás alapján.
- Randomizálj és futtasd a tesztet: Oszd el egyenletesen a forgalmat a kontroll- és a tesztcsoport között. Ne állítsd le idő előtt.
- Elemezd az eredményeket: Hasonlítsd össze a p-értéket az α-val. Vizsgáld meg a konfidenciaintervallumot a hatásméret szempontjából.
- Dönts: Ha az eredmény szignifikáns és gyakorlatilag is értelmes, vezesd be a nyerő változatot. Ha nem, dokumentáld a megállapítást, és tesztelj valami mást.
Statisztikai szignifikancia az affiliate marketingben
A statisztikai szignifikancia nem csupán elméleti fogalom. Az affiliate marketingben — ahol a jutalékok, a költségvetések és a partnerkapcsolatok a teljesítményadatoktól függenek — gyakorlati védelmet jelent a költséges tévedések ellen.
Hirdetőknek
Az affiliate programokat működtető hirdetők rendszeresen tesztelik a céloldalakat, az ajánlati struktúrákat és a kreatív anyagokat. A statisztikai szignifikancia biztosítja, hogy az arról szóló döntések, hogy melyik változatot érdemes nagyobb mértékben futtatni, valódi teljesítménykülönbségeken alapuljanak, ne pedig véletlenszerű ingadozáson.
Példa munkafolyamatra: Egy hirdető két jutalékszerkezetet tesztel — egy fix 10%-os kulcsot és egy lépcsőzetes 5%/12%/18%-os modellt. 30 nap és 5000 tranzakció után a lépcsőzetes modell 22%-kal magasabb átlagos rendelésértéket mutat. A t-próba p = 0,02 értéket ad. A hirdető magabiztosan bevezetheti a lépcsőzetes struktúrát, tudva, hogy a megfigyelt különbség nagy valószínűséggel nem véletlen zaj.
Szignifikanciateszt nélkül a hirdető egy rövid távú ingadozás alapján hozta volna meg a változtatást — és ha a hatás megfordult volna, azzal akár a partnerek bevételeit is csökkenthette volna.
Kiadóknak
A kiadók (affiliate partnerek) arról döntenek, hogy mely termékeket népszerűsítsék, mely forgalmi forrásokba fektessenek, és mely tartalomformátumok konvertálnak a legjobban. Mindezek a döntések profitálnak a szignifikanciatesztelésből.
Példa munkafolyamatra: Egy kiadó egy termékismertető cikk két változatát futtatja — az egyikben felül, a másikban alul van az összehasonlító táblázat. 10 000 megtekintés alatt a felül elhelyezett változat 3,1%-os átkattintási arányt ér el a kereskedőhöz, szemben az alsó elhelyezés 2,6%-ával. A khi-négyzet próba p = 0,04 értéket ad. A kiadó átveszi a felül elhelyezés formátumát, és alkalmazza a mintát a többi ismertetőre is.
Affiliate programmenedzsereknek
A programmenedzserek értékelik a partnerek teljesítményét, meghatározzák a jutalékszinteket, és eldöntik, mely affiliate partnereket vonjanak be vagy tartsanak meg. A statisztikai szignifikancia segít megkülönböztetni a következetesen jól teljesítő partnereket azoktól, akiknek a jó hónapjai csupán szóródásból fakadnak.
Példa munkafolyamatra: Egy programmenedzser két, hasonló forgalmú affiliate partnert hasonlít össze. Az A partner konverziós aránya 12 hónap alatt 5,2%; a B partneré 4,1%. Egy kétmintás z-próba megerősíti, hogy a különbség szignifikáns (p = 0,008). A menedzser ezekre az adatokra támaszkodva magasabb jutalékszintet ítél az A partnernek, és megvizsgálja, mit javíthatna a B partner.
Mindhárom szerepkörben ugyanaz az elv: hagyd, hogy az adatok elérjék a szignifikanciát, mielőtt cselekszel. Az idő előtti döntések — jutalékemelés egy olyan partnernek, akinek egy jó hónapja volt, vagy egy céloldal elvetése, amelynek egy rossz hete volt — az affiliate marketing leggyakoribb és legelkerülhetőbb hibái közé tartoznak.
Korlátok és gyakori tévhitek
Szignifikáns ≠ Fontos
Ez a legmakacsabbul tartó félreértés. Egy eredmény lehet statisztikailag szignifikáns p < 0,001 mellett, és mégis túl kicsi ahhoz, hogy számítson. Az NIST mérnöki statisztikai kézikönyvének egy jól ismert példájában egy gyártási folyamatfejlesztés statisztikailag szignifikáns volt, mégis csak 0,2 egységnyi nyereséget hozott — messze a gyakorlati érték küszöbe alatt.
Mindig tedd fel ezt a két kérdést:
- Statisztikailag szignifikáns? (a p-érték)
- Elég nagy-e a hatás ahhoz, hogy számítson? (a hatásméret)
P-hackelés és a reprodukálhatósági válság
A p-hackelés azt a gyakorlatot jelenti, hogy több elemzést futtatunk, és csak azokat jelentjük, amelyek elérik a szignifikanciát. Gyakori formái:
- Sok mutató tesztelése, és annak kiemelése, amelyik „nyer"
- Az adatgyűjtés leállítása, amikor a p-érték átlépi a 0,05-öt
- A kiugró értékek utólagos kizárása a p-érték csökkentése érdekében
Ezek a gyakorlatok drámaian megnövelik a hamis pozitív arányt.
Az üzleti felhasználók számára a tanulság: regisztráld előre a teszttervet, ragaszkodj egyetlen elsődleges mutatóhoz, és állj ellen a szignifikancia-halászat kísértésének.
Mikor ne támaszkodj a statisztikai szignifikanciára
A statisztikai szignifikancia kevésbé hasznos — vagy egyenesen félrevezető — az alábbi helyzetekben:
- Nagyon kis minták: Csoportonként 100-nál kevesebb megfigyeléssel csak óriási hatások érik el a szignifikanciát. A negatív eredmények nem informatívak, nem pedig a hatás hiányának bizonyítékai.
- Több egyidejű változtatás: Ha egy oldal öt elemét egyszerre változtatod meg, egy szignifikáns eredmény nem mondja meg, melyik változtatás okozta a hatást.
- Kis téttel járó feltáró munka: Nem minden döntés igényel formális szignifikanciatesztet. A korai fázisú feltárásnál az irányt mutató adatok is elegendőek lehetnek.
