Waar staat dat als de kans op een type 1-fout 5% is, de kans op een type 2-fout dan (dus) 95% is? Want dat klopt niet. Als de power 5% is, dan is de kans op een type 2-fout 95%, dat wel.
Als je meer $p$-waarden berekent (en er dus sprake is van multiple testing) is de kans dat je minimaal een keer een type 1-fout maakt, groter dan als je maar 1 $p$-waarde berekent.
Datzelfde geldt voor de kans op een type 2-fout: de kans dat je minimaal één keer faalt om een verband te vinden, terwijl het wel bestaat, wordt ook groter naarmate je meer toetsen uitvoert. Aan de andere kant: de kans dat je minimaal één keer een verband vindt neemt ook toe. Als je, in zo'n geval waarin je een verband vindt, een verband vindt dat ook bestaat in de populatie, maar je in dat geval geen type 1-fout of type 2-fout: het gaat dan precies goed. Maar als je in zo'n geval waarin je een verband vindt, een verband vindt terwijl er in de populatie geen verband bestaat, dan maak je een type 1-fout.
Nulhypothesetoetsing is erg complex, omdat het allemaal gebaseerd is op voorwaardelijke kansen ('onder aanname van de nulhypothese', 'aangenomen dat er een verband bestaat in de populatie', etc).
Naast deze onhandigheden is het ook een schadelijke manier van denken/werken. Hoewel dit al decennia wordt geroepen door methodologen en statistici begint deze kennis nu pas gemeengoed te worden in de psychologie (de voorganger van deze cursus leunde bijvoorbeeld nog steeds op nulhypothesetoetsing).
Daarom ligt in deze cursus de nadruk op redeneren in termen van steekproevenverdelingen en betrouwbaarheidsintervallen. Als je die gebruikt in je analyses in plaats van $p$-waarden te berekenen, is het minder erg als je type 1-fouten en type 2-fouten nog lastig vindt. Maar goed, dat is meer een advies voor tijdens je bachelor- en masterthese later.