Ik had graag uitleg over vraag 53 van het eerste oefententamen in de cursus Onderzoekspracticum Inleiding data-analyse.

Question

Kan iemand mij vraag 53 van het eerste oefententamen uitleggen?
Ik dacht dat het antwoord B moest zijn, maar de antwoordsleutel geeft antwoord A. Ik ging ervan uit dat indien meerdere p-waarden worden onderzocht, de kans op een type 1 fout stijgt en de kans op een type 2 fout daalt. Dus de onderzoeker met het laagste aantal berekende p-waarden heeft de grootste kans op een type 2 fout. De eerste onderzoeker.

53.1 Twee onderzoekers doen elk een studie, beiden met een alpha van 5% en 400 deelnemers. De eerste onderzoeker berekent 1 p-waarde. De tweede onderzoeker berekent twee p-waarden. Stel dat alle onderzochte verbanden in de populatie echt bestaan en toevallig allemaal precies middelsterk zijn.

Voor welke onderzoeker is de kans op minimaal één type 2-fout het grootst?

a voor de tweede onderzoeker

b voor de eerste onderzoeker

Answer 1

Je redenering/uitgangspunt klopt bijna. Indien meerdere p-waarden worden onderzocht, daalt de kans dat er in elke analyse een Type 2-fout wordt gemaakt (de kans dat je toevallig een keer geen Type 2-fout maakt, bestaat immers bij elke p-waarde, en hoe meer p-waarden je uitrekent, hoe groter de kans dat dat dus toevallig een keer gebeurd).

Maar, de kans dat je minimaal één Type 2-fout maakt wordt steeds groter.

Het zit hier dus in het verschil tussen 'minimaal één' en 'in elke toets', zeg maar. Deze redenering is vergelijkbaar met die van de Type 1-fout: je corrigeert voor multiple testing om de kans op minimaal één Type 1-fout binnen de perken te houden.

De eerste onderzoeker berekent maar 1 $p$-waarde: dus die kan slechts 1 keer door toeval falen de nulhypothese te verwerpen.

De tweede onderzoeker loopt meer kans om door toeval een keer (of meerdere keren) te falen de nulhypothese te verwerken: hij berekent immers twee $p$-waarden, en per $p$-waarde kun je weer toevallig een verband vinden dat onvoldoende extreem is om de nulhypothese te verwerpen.