Verwerkingsopdracht 4.6.2 (superfoods)

Question

Bij de uitwerking staat:

Met 500 deelnemers zijn relatief kleine correlaties al significant. Het verband tussen broccoli- en chiazaadconsumptie enerzijds en welzijn anderzijds zou dus zo zwak kunnen zijn, dat het geen enkele relevantie heeft.

Ik snap deze redenering niet. Waarom maakt een grote steekproef een op zich significante correlatie minder relevant?

Answer 1

Ik heb dit even nagerekend. Als je R hebt (en de "SuppDists" en "ufs" packages hebt geinstalleerd) kun je dit thuis ook doen:

SuppDists::pPearson(.04, 1000, lower.tail = FALSE)
[1] 0.1030952

Het voorbeeld dat Natascha uit de losse pols bedacht is dus niet significant; deze p-waarde moeten we nog met twee vermenigvuldigen in verband met de dubbelzijdige toetsing. Met wat uitproberen kom ik uit op 2500 deelnemers:

SuppDists::pPearson(.04, 2500, lower.tail=FALSE)
[1] 0.02270707

Het 95% betrouwbaarheidsinterval loopt dan:

ufs::confIntR(.04, 2500)
               lo         hi
0.04 0.0007985332 0.07907871

Oftewel, een correlatie van .1 of sterker is onwaarschijnlijk. Als de de bovengrens van dit betrouwbaarheidsinterval kwadrateren krijgen we de proportie verklaarde variantie: dat is .08^2 = 0.64%.

We verklaren dus wsch ongeveer een half procent van de variantie in de ene variabele met de andere variabele.

De bottom line is: significantie is in zichzelf niet informatief. De schatting van de effectgrootte, zoals uitgedrukt door een betrouwbaarheidsinterval, is wel informatief over of een verband de moeite waard is.

Comments

Dat zijn handige commando's, bedankt. De packages zijn automatisch al geinstalleerd (blijkbaar). Ik moest ze natuurlijk wel "requiren".

Answer 2

Hoe groter je steekproef, hoe eerder een effect in je data significant is. Fictief voorbeeld: Bij 100 deelnemers is een correlatie van .40 significant, bij 1000 deelnemers is een correlatie van .04 al significant. Je vind in dat laatste geval dus een significant resultaat, maar eigenlijk is er nauwelijks een effect. Waarschijnlijk als je het BI erbij zou berekenen zou het misschien iets als [-.10; .10] zijn, wat er op duidt dat er helemaal geen effect is in de populatie.