Ik heb dit even nagerekend. Als je R hebt (en de "SuppDists" en "ufs" packages hebt geinstalleerd) kun je dit thuis ook doen:
SuppDists::pPearson(.04, 1000, lower.tail = FALSE)
[1] 0.1030952
Het voorbeeld dat Natascha uit de losse pols bedacht is dus niet significant; deze p-waarde moeten we nog met twee vermenigvuldigen in verband met de dubbelzijdige toetsing. Met wat uitproberen kom ik uit op 2500 deelnemers:
SuppDists::pPearson(.04, 2500, lower.tail=FALSE)
[1] 0.02270707
Het 95% betrouwbaarheidsinterval loopt dan:
ufs::confIntR(.04, 2500)
lo hi
0.04 0.0007985332 0.07907871
Oftewel, een correlatie van .1 of sterker is onwaarschijnlijk. Als de de bovengrens van dit betrouwbaarheidsinterval kwadrateren krijgen we de proportie verklaarde variantie: dat is .08^2 = 0.64%.
We verklaren dus wsch ongeveer een half procent van de variantie in de ene variabele met de andere variabele.
De bottom line is: significantie is in zichzelf niet informatief. De schatting van de effectgrootte, zoals uitgedrukt door een betrouwbaarheidsinterval, is wel informatief over of een verband de moeite waard is.