Waarom is het goede antwoord van proeftentamen 1 IDA vraag 46 antwoord-A?

Question

46.1 Een onderzoeker vindt in een steekproef van 100 deelnemers een correlatie van r = .23. De bijbehorende p-waarde is p = .02.

Wat betekent dit?

a Als de nulhypothese waar is, is de kans op een correlatie van .23 of extremer gelijk aan 2%. (goed)

b Als de nulhypothese waar is, is de kans op een type 1-fout gelijk aan 2%.

Beide antwoorden zijn waar naar mijn idee. De kans op een type 1 fout is toch gelijk aan 2% bij een p-waarde van .02? Bij een alpha van .05 is de kans op een type 1 fout 5%, dus bij een p-waarde van .02 is dat dan toch 2%?

Natuurlijk is A ook waar, maar daardoor is het voor mij wel heel lastig om te kiezen, aangezien ze in mijn ogen beide waar zijn. Of klopt mijn redenering niet?

Comments

Ik denk dat de kans op een type-1 fout vooraf wordt vastgesteld. Deze is niet afhankelijk van de p-waarde die uiteindelijk gevonden wordt, of deze nu significant is of niet. Ik denk niet dat je de alpha en de p-waarde uit mag wisselen.

---

Zo bekijk ik het ook. Als er voor die steekproef geldt dat de alfa op 5% ligt, dan is je kans op een type 1-fout ook meteen 5% want deze is gelijk aan je alfa, ongeacht welke p-waarde je hebt. Deze p-waarde gebruik je dan wel weer om vast te stellen of deze kleiner of groter is dan de alfa en of je dus kans maakt op een type 1-fout. Als deze kleiner is dan de alfa, is er kans op een type 1-fout bij je conclusie dat er significatie is. Als de p-waarde groter is dan 5% alfa is er ook geen significatie en geen kans op zulk een fout. (Je kan die kans van 5% alfa/type 1-fout wel verkleinen door die alfa te verkleinen of door de steekproef te vergroten, als ik het goed heb.)

Answer 1

De kans op een Type 1-fout is inderdaad altijd gelijk aan je alpha. Die weet je dus inderdaad van tevoren.

De kans op een Type 1-fout wordt niet lager als je $p$-waarde klein is. Als je alpha gelijk is aan $\alpha=.05$, en je $p$-waarde gelijk is aan $p=.02$, dan is de kans dat je een Type 1-fout maakt gelijk aan $5\%$.

Als de nulhypothese waar is, verwerp je in $\alpha\%$ van de gevallen de nulhypothese, en dat doe je dus in $\alpha\%$ van de gevallen ten onrechte.

Als je een $p$-waarde vindt van $.02$, dan heb je een zeldzame $p$-waarde gevonden - maar eentje die in $.02$ van de steekproeven voorkomt, als de nulhypothese waar is. De volgende keer als je diezelfde steekproef neemt ga je waarschijnljk een veel hogere $p$-waarde vinden. En dan maak je geen Type 1-fout - die maak je immers maar in $\alpha\%$ (e.g. $5\%$) van de gevallen.

De kans op een Type 1-fout, of de kans op een Type 2-fout, is afhankelijk van maar drie dingen:

• Hoe sterk is het verband in de populatie?
• Hoe hoog is alpha?
• Hoeveel deelnemers heb je?

De eerste weet je nooit; de tweede en derde bepaal je zelf. Hoe lager alpha, hoe kleiner de kans op een Type 1-fout, en dus hoe sterker je conclusies, maar hoe groter de kans op een Type 2-fout. Hoe hoger de steekproef, hoe lager de kans op een Type 2-fout.

Kortom, als je de ideale studie wil ontwerpen (en als praktische overwegingen zoals kosten en werving van deelnemers geen rol zouden spelen), dan neem je een $\alpha$ die zo laag mogelijk is (bijvoorbeeld $.00001$ of minder), maar werf je zoveel mogelijk deelnemers (bijvoorbeeld $10000$ of meer). Dan is je kans op een Type 1-fout of een Type 2-fout zo klein mogelijk.

Zie eventueel voor extra uitleg http://oupsy.nl/help/3118/vraag-over-nhst-4-6