de kans op een type 2-fout

Question

Ik blijf toch de kans op een type 2-fout lastig vinden. Als alpha .05 is, is de kans op een type 1-fout 5%. Want de kans om de nulhypothese ten onrechte te verwerpen is 5%. Maar de kans op een type2-fout wordt groter als de alpha bijvoorbeeld naar .01 verlaagd is. Ik lees ook dat de kans op een type 2-fout afhangt van de steekproefomvang en de sterkte van het verband. Dat begrijp ik. Maar ergens staat ook dat als de kans op een type 1-fout 5% de kans op een type 2-fout dan (dus) 95%. Dus ik kan nog niet helemaal doorgronden hoe die twee nu samenhangen.

En bij multiple testing (en dus bij meerdere p-waarden) stijgt de kans op een type 1-fout nogal fors. Maar wat kan je in dat geval zeggen over de kans op een type 2-fout?

In het oefententamen staat ook een vraag over de kans op een type 2-fout bij berekenen van meerdere p-waarden. Ik begrijp dat de kans op een type 1-fout toeneemt als je meerdere p-waarden berekent. Maar wat dat betekend voor de kans op een type 2-fout begrijp ik dus niet echt.

ik hoop dit toch wel te doorgronden....

Comments

Hier al gekeken? http://oupsy.nl/help/3326/oefententamen

---

Hoi Reinout,

Ja die had ik gezien en die had ik ook begrepen. Mijn fout zat echt in de aanname dat als de kans op een type 1-fout 5% is, de kans op een type 2-fout dan 95% is. Dat ze complementair aan elkaar zijn. Een soort communicerende vaten. Maar dat klopt dus niet. En daar kwam ik steeds in de knoop.

Answer 1

Waar staat dat als de kans op een type 1-fout 5% is, de kans op een type 2-fout dan (dus) 95% is? Want dat klopt niet. Als de power 5% is, dan is de kans op een type 2-fout 95%, dat wel.

Als je meer $p$-waarden berekent (en er dus sprake is van multiple testing) is de kans dat je minimaal een keer een type 1-fout maakt, groter dan als je maar 1 $p$-waarde berekent.

Datzelfde geldt voor de kans op een type 2-fout: de kans dat je minimaal één keer faalt om een verband te vinden, terwijl het wel bestaat, wordt ook groter naarmate je meer toetsen uitvoert. Aan de andere kant: de kans dat je minimaal één keer een verband vindt neemt ook toe. Als je, in zo'n geval waarin je een verband vindt, een verband vindt dat ook bestaat in de populatie, maar je in dat geval geen type 1-fout of type 2-fout: het gaat dan precies goed. Maar als je in zo'n geval waarin je een verband vindt, een verband vindt terwijl er in de populatie geen verband bestaat, dan maak je een type 1-fout.

Nulhypothesetoetsing is erg complex, omdat het allemaal gebaseerd is op voorwaardelijke kansen ('onder aanname van de nulhypothese', 'aangenomen dat er een verband bestaat in de populatie', etc).

Naast deze onhandigheden is het ook een schadelijke manier van denken/werken. Hoewel dit al decennia wordt geroepen door methodologen en statistici begint deze kennis nu pas gemeengoed te worden in de psychologie (de voorganger van deze cursus leunde bijvoorbeeld nog steeds op nulhypothesetoetsing).

Daarom ligt in deze cursus de nadruk op redeneren in termen van steekproevenverdelingen en betrouwbaarheidsintervallen. Als je die gebruikt in je analyses in plaats van $p$-waarden te berekenen, is het minder erg als je type 1-fouten en type 2-fouten nog lastig vindt. Maar goed, dat is meer een advies voor tijdens je bachelor- en masterthese later.

Comments

Dank voor de uitleg. Ik snap het. Mijn kronkel ontstond steeds doordat ik uitging van verhouding type 1-fout/ type 2-fout als 5 en 95%.