Wat is het effect van multiple testing op type 2-fouten?

Question

De oefententamens stellen beide een vraag over multiple testing en de kans op een type 2-fout (zie hieronder).

De antwoordsleutels geven telkens aan dat de onderzoeker die slechts 1 p-waarde onderzoekt de grootste kans op een type 2-fout heeft. Vanuit de analogie dat multiple testing de kans op een type 1-fout vergroot, zou ik het tegenovergestelde verwachten. Waarom gaat deze redenering blijkbaar niet op voor een type 2-fout?

Oefententamen 1

53.1 Twee onderzoekers doen elk een studie, beiden met een alpha van 5%. De eerste onderzoeker berekent één p-waarde. De tweede onderzoeker berekent twee p-waarden.

Voor welke onderzoeker is de kans op een type 2-fout het grootst?

a voor de eerste onderzoeker

b voor de tweede onderzoeker

Oefententamen 2

53.1 Twee onderzoekers doen elk een studie, beiden met een alpha van 5%. De eerste onderzoeker berekent één p-waarde. De tweede onderzoeker berekent drie p-waarden.

Voor welke onderzoeker is de kans op een type 2-fout het grootst?

a voor de tweede onderzoeker

b voor de eerste onderzoeker

Answer 1

Ik heb deze vraag wat verduidelijkt. Nu luidt de vraag:

Twee onderzoekers doen elk een studie, beiden met een alpha van 5% en 400 deelnemers. De eerste onderzoeker berekent 1 p-waarde. De tweede onderzoeker berekent twee p-waarden. Stel dat alle onderzochte verbanden in de populatie echt bestaan en toevallig allemaal precies middelsterk zijn. Voor welke onderzoeker is de kans op minimaal één type 2-fout het grootst?

Als het goed is is hij nu duidelijker. Tenminste, de mogelijke ambiguiteit in de oorspronkelijke vraagstelling is nu gecorrigeerd. Dit wordt binnenkort aangepast in het oefententamen.

Answer 2

Volgens mij is het zo, bij alle andere condities gelijk, dat een grotere kans op een type-1 fout altijd betekent, dat er een kleinere kans voor een type-2 fout is. Eigenlijk ook wel logisch: als er een grotere kans is dat we een verband vinden in de steekproef, hoewel dit er in de populatie niet is, is er een kleinere kans dat we dit verband niet vinden, hoewel het er eigenlijk wel is.