Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Poweranalyse

0 leuk 0 niet-leuks
Taak 4.7 gaat over de powerberekeningen en power en betrouwbaarheidsintervallen.

Op p. 100 staat: 'voordat een studie wordt uitgevoerd, kan ook worden berekend hoeveel deelnemers er nodig zijn om een bepaald betrouwbaarheidsinterval te verkrijgen met een gegeven breedte'.

Betekent dit dat je voorafgaand aan de studie zowel het aantal deelnemers berekent om een bepaalde power te bereiken als het aantal deelnemers om een bepaalde accuraatheid te bereiken?

Dus:

1. aantal deelnemers om betrouwbaarheidsinterval van bepaalde breedte te krijgen (betrouwbaarheidstabellen Moinester);

2. aantal deelnemers om bepaalde power te berekenen (powertabellen).

En dat je dan het hoogste aantal deelnemers kiest?

Ook staat er in de powertabellen 'aantal deelnemers nodig om power te bereiken uitgaande van populatiecorrelaties van 0,1 tot 0,9' --> deze populatiecorrelaties zijn toch de aanname/ schatting die de onderzoeker van tevoren doet?
gevraagd 5 juni in Inleiding Data Analyse (IDA) door 852146433 (180 punten)

1 Antwoord

0 leuk 0 niet-leuks
Goede vraag. Zoals bij de meeste goede vragen is het antwoord "ja en nee", of, naar eigen smaak, "dat hangt er vanaf" :-)

Kijk, zoals ook wordt uitgelegd in het boek dat voor de onderzoekspractica (wel, vooral voor de volgende practica) wordt gebruikt, "Discovering Statistics" van Andy Field, en zoals in dit special issue van de American Statistician uitvoerig wordt besproken (zie https://amstat.tandfonline.com/toc/utas20/73/sup1), is er van alles mis met de zogenaamde 'nulhypothese significantie toetsing' (NHST) zoals die meestal wordt toegepast.

En power-analyse gaat letterlijk over power; en power is het complement van de kans op een Type-2 fout gegeven een bepaalde populatie-waarde voor bijvoorbeeld je correlatie (of andere effectgrootte). En Type-2 fouten en Type-1 fouten horen bij de dichotome beslissingsregels zoals ze vaak aan de hand van $p$-waarden worden toegepast in NHST.

Mensen die ondanks alle problemen enthousiast zijn over NHST (soms bijvoorbeeld omdat ze geen alternatieven kennen; vroeger werden die niet onderwezen) doen vooral power analyses. Het inzicht dat je daarna meestal wil weten hoe sterk een verband is, is dan vaak nog niet doorgedrongen. Zij zullen dus alleen power-analyses doen.

Mensen die die discussies over de problemen van NHST meekrijgen zullen vaak (want voor veel van onze onderzoeksvragen is NHST 'dus' niet de juiste aanpak - soms wel, maar vaak niet) geen p-waarden berekenen, en in plaats daarvan willen schatten hoe sterk een verband is. Zij zullen schatten hoeveel mensen ze nodig hebben om dat verband met betrouwbaarheidsintervallen van de gewenste 'smalheid' te schatten.

Als je dat tweede doet, heb je, aangenomen dat je redelijk smalle betrouwbaarheidsintervallen wil, ook altijd een hoge power tegen alle effectgroottes behalve de allerzwakte verbanden. Dan is het dus vaak niet nodig om nog power-analyses te doen - helemaal omdat je toch geen p-waarden gaan berekenen.

Als je power-analyses hebt gedaan en p-waarden wil berekenen, zou het vaak goed zijn om alsnog te kijken hoe stabiel je schattingen gaan zijn, dus hoe breed of smal je betrouwbaarheidsintervallen zijn. Je komt dan snel tot de conclusie dat je meer deelnemers nodig hebt dan uit je power-analyses kwamen. Daar zijn mensen vaak niet blij mee natuurlijk, dus ik vermoed dat dat ook niet heel veel gebeurd :-)

En ja - die populatiecorrelatie is een aanname. Daar kunnen verschillende bronnen voor zijn; het liefst praktische waarde, of theoretische waarde. Als je daar geen informatie over hebt wordt het al snel lastig; dit is een onderwerp waar nu veel aandacht voor is. Soms baseren mensen zulke schattingen op eerder onderzoek, maar dat is om allerlei redenen een heel slecht idee. (Redenen die ver buiten deze cursus gaan.)
beantwoord 5 juni door gjp (64,270 punten)
...