Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.
Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!
Hi, ik heb een vraag over de volgende redenering 9 (OpenMens 19.5)
De kans op een correlatie die als middelsterk verband wordt gekwalificeerd (lager dan −.30−.30 of hoger dan .30.30) is 20%20%. Dit is dus in één op de vijf steekproeven! Bij underpowered studies is de kans dus redelijk groot dat er in een steekproef een relatief sterk verband wordt gevonden, terwijl er in de populatie helemaal geen verband is.
Wordt hier met het laatste bedoeld dan de kans dat er in de populatie helemaal geen verband is ook groter is omdat de p-waarde heel groot is underpowered studies?
Ik zag deze toevallig langskomen, en wilde nog even expliciet maken wat nu nog impliciet blijft - de p-waarde staat los van de geciteerde zinnen. Daar gaat het om het vinden van een sterk verband in de steekproef. De implicatie is daar niet dat de bijbehorende p-waarde laag is.
De verdeling van $p$ is uniform als de nulhypothese waar is - hoe groot je steekproef ook is. De kans op de $p$-waarde van .05 of lager is dus altijd $5\%$ als de nulhypothese waar is. De correlatie die bij een gegeven $p$-waarde hoort verschilt alleen als functie van steekproefomvang - als een steekproef klein is, krijg je alleen bij hoge correlaties lage $p$-waarden.
Maar, bij sterke verbanden in de steekproef is het aantrekkelijk om te denken dat de power het probleem is als de steekproef klein is en het verband niet significant. Die redenering gaat voorbij aan het gegeven dat de kans op grote effectsizes juist groot is bij kleine steekproeven onder aanname dat de populatie-effectsize 0 is.