Vraag over 19.5 Power

Question

Hi, ik heb een vraag over de volgende redenering 9 (OpenMens 19.5)

De kans op een correlatie die als middelsterk verband wordt gekwalificeerd (lager dan $-.30$ of hoger dan $.30$) is $20\%$. Dit is dus in één op de vijf steekproeven! Bij underpowered studies is de kans dus redelijk groot dat er in een steekproef een relatief sterk verband wordt gevonden, terwijl er in de populatie helemaal geen verband is. 

Wordt hier met het laatste bedoeld dan de kans dat er in de populatie helemaal geen verband is ook groter is omdat de p-waarde heel groot is underpowered studies? 

Answer 1

Bijna. Bij underpowered studies is de kans op het vinden van een redelijk grote correlatie groter en hoe groter de correlatie hoe groter de p-waarde. Dus omdat je eerder een grote correlatie vindt en dus een significante p-waarde, is de kans ook groter dat je dit vindt terwijl er in de populatie helemaal geen verband is.

Comments

Wat bedoel je met hoe groter de correlatie hoe groter de p-waarde? Kan ik dat ergens teruglezen? Of kun je uitleggen waarom dat zo is?

En: een grote p-waarde is toch juist niet significant?  Bijv. .30 is toch juist veel minder significant dan .05?

---

De p-waarde is de kans dat je een effect vindt in je steekproef terwijl er in de populatie geen effect is. Hoe groter het effect in je steekproef, hoe lager je p-waarde. Immers, hoe groter het effect, hoe minder waarschijnlijk is dat er in de populatie geen effect is. Dit werkt zo voor correlaties, maar ook voor alle andere toetsen.

Die .30 gaat over de correlatie, niet de p-waarde.

---

Ik zag deze toevallig langskomen, en wilde nog even expliciet maken wat nu nog impliciet blijft - de p-waarde staat los van de geciteerde zinnen. Daar gaat het om het vinden van een sterk verband in de steekproef. De implicatie is daar niet dat de bijbehorende p-waarde laag is.

De verdeling van $p$ is uniform als de nulhypothese waar is - hoe groot je steekproef ook is. De kans op de $p$-waarde van .05 of lager is dus altijd $5\%$ als de nulhypothese waar is. De correlatie die bij een gegeven $p$-waarde hoort verschilt alleen als functie van steekproefomvang - als een steekproef klein is, krijg je alleen bij hoge correlaties lage $p$-waarden.

Maar, bij sterke verbanden in de steekproef is het aantrekkelijk om te denken dat de power het probleem is als de steekproef klein is en het verband niet significant. Die redenering gaat voorbij aan het gegeven dat de kans op grote effectsizes juist groot is bij kleine steekproeven onder aanname dat de populatie-effectsize 0 is.