Hoe bereken ik de kans op een type II fout?

Question

In het PDF-document “De overschrijdingskans en het onderscheidingsvermogen van de t-toets” wordt een voorbeeld gegeven om het risico op een type II-fout te illustreren. Hier wordt een populatie geschetst waarin jongens .60 glazen meer drinken dan meisjes. Daarbij wordt gesteld:

H1: μj ‐ μm = .60 (n1 = n2 = 50; df = 98, SE = .40)

Dit wordt vervolgens weergegeven in een tabel (tabel 3) waarin de kans op een type-I fout of een type II fout wordt weergegeven.

In het rechter deel van de tabel staat dat de kans op het maken van een Type II fout gelijk is aan .56. We lopen dus een vrij groot risico om H0 aan te nemen terwijl H0 in werkelijkheid niet waar is. Het onderscheidingsvermogen, om een verschil van (minstens) .60 glazen (terecht) als significant te beschouwen, is als gevolg hiervan vrij klein, namelijk 1 – β = .44.

Het is mij onduidelijk waar het getal .56 (de kans van een type II fout) vandaan komt. Is dat op één of andere manier uit te rekenen met de gegevens die ik heb, of is het slechts een gegeven in het voorbeeld?  Ik begrijp uit eerdere tekst dat het minimale onderscheidingsvermogen (the power) gesteld kan worden op .80 en dat de type II fout groter wordt als de typische grenswaarde voor t naar rechts verschuift. Maar ik weet ook niet precies hoe je aan die grenswaarde komt en ook niet hoe je beta en the power kunt uitrekenen. In het voorbeeld wordt de grenswaarde Gk gesteld op .66  Er wordt bij figuur 3A en 3B wordt uitgelegd hoe je aan die grenswaarde komt:

Student t-verdelingen met df = 98 uitgezet op een ruwe schaal G, het verschil in aantal glazen alcohol per week. SE = .40, tk = 1.66, Gk = .40 * 1.66 = .66.  Maar ik weet eerlijk gezegd ook niet waar de 1.66 vandaan komt. Is dat ook een gegeven, of kan ik die berekenen?

Answer 1

De kans op een type-2 fout, oftewel 1 - de power, kun je berekenen als je weet ten opzichte van welke effect size je die kans wil berekenen.

Voor een gegeven alpha, steekproefomvang en effect size ligt beta (de kans op een type-2 fout) en dus de power vast. Dit is makkelijk te zien in R (zie http://oupsy.nl/help/24/wat-is-r-en-hoe-installeer-ik-het): bij de functie 'pwr.t.test' kun je de met 'n', 'd' en 'sig,level' (default .05) je power berekenen, bijvoorbeeld:

> pwr.t.test(n=20, d=.5)

     Two-sample t test power calculation 

              n = 20
              d = 0.5
      sig.level = 0.05
          power = 0.337939
    alternative = two.sided

NOTE: n is number in *each* group

De kans op een type-2 fout is, met een gemiddelde effect size, en 40 proefpersonen, dus 1 - .338 = .66%.

Of andersom: als je bijvoorbeeld wil weten hoeveel mensen je nodig hebt om de kans op een type-2 fout net als de kans op een type-1 fout op 5% te houden (dus een power van 95%), is dat heel verschillend voor een klein, gemiddeld, of groot effect:

> pwr.t.test(power=.95, d=.2)

     Two-sample t test power calculation 

              n = 650.6974
              d = 0.2
      sig.level = 0.05
          power = 0.95
    alternative = two.sided

NOTE: n is number in *each* group

> pwr.t.test(power=.95, d=.5)

     Two-sample t test power calculation 

              n = 104.9279
              d = 0.5
      sig.level = 0.05
          power = 0.95
    alternative = two.sided

NOTE: n is number in *each* group

> pwr.t.test(power=.95, d=.8)

     Two-sample t test power calculation 

              n = 41.59414
              d = 0.8
      sig.level = 0.05
          power = 0.95
    alternative = two.sided

NOTE: n is number in *each* group

De beste manier om hier een beetje 'feeling' mee te krijgen, is zelf te spelen met de power voor verschillende situaties. Je kunt dit visueel maken met de 'plot' functie, bijvoorbeeld:

plot(seq(0,1,by=.1), power.t.test(n=25, d=seq(0,1,by=.1))$power, type='l', xlab="Cohen's d", ylab="power")

En dan krijg je:

Terwijl je het met 50 mensen per groep al veel beter doet:

plot(seq(0,1,by=.1), power.t.test(n=50, d=seq(0,1,by=.1))$power, type='l', xlab="Cohen's d", ylab="power")

Power is een vrij complex begrip, maar natuurlijk erg belangrijk om goed onderzoek te kunnen ontwerpen.

Voor de duidelijkheid: deze extra uitleg in R geef ik om het gemakkelijk te maken hier zelf mee te spelen (SPSS kan dat niet). Dit is geen examenstof!