gebruik T-toets en hypothesen

Question

Ik loop een beetje vast met sommige alinea's/begrippen van opdracht 2.3.1.

ik heb tussen haakjes cursief mijn uitleg er tussen geplaatst. Dat is misschien nog het handigst.

Met een t‐toets worden de gemiddelde scores van twee groepen (toegepast/traditioneel) op één afhankelijke variabele (statistiekkennis) onderling vergeleken. Met de t‐toets kan dus worden vastgesteld of de nulhypothese verworpen kan worden ten gunste van de alternatieve hypothese.

(M.a.w.: Je toetst of het gevonden verschil tussen de gemiddelden een werkelijk bestaand verschil is of dat het verschil alleen op toeval berust.?)

Om te kunnen bepalen (om er zeker van te zijn dat het geen toeval is……) of twee gemiddelden van elkaar afwijken, is dus niet alleen de waarde van de gemiddelde score van belang, maar ook de spreiding van de scores rondom het gemiddelde (de variantie/ standaardafwijking)  en de grootte van de steekproef.

Uitgangspunt (je bedoelt dat de nulhypothese altijd het uitganspunt is?) bij de t‐toets is dat de varianties van beide groepen aan elkaar gelijk zijn. Daar wordt een afzonderlijke hypothese voor geformuleerd, namelijk de nulhypothese H0 voor de varianties.

Dan nog een vraag: klopt het dat als je een alternatieve hypothese toetst en die wordt aangenomen, dat dan dan de nulhypothese automatisch wordt verworpen? Zo ja, is dat andersom ook het geval?

groet,

Sjo

Answer 1

De t-toets gaat ervan uit (een afzonderlijke H₀ hypothese) dat de varianties van beide groepen gelijk zijn. Als dit niet het geval is, moet de t-toets worden aangepast (deze wordt conservatiever), en zijn de resultaten hiervan minder snel significant.

Of het verschil tussen twee gemiddelden werkelijk bestaat, weet je nooit: we zijn helaas niet alwetend. We kunnen het wel aannemelijk maken dat de H₀ hypothese (er is geen verband) niet klopt, als we een lage p-waarde vinden, resp. een betrouwbaarheidsinterval waar de waarde 0 niet in voorkomt.

Je toetst nooit de alternatieve hypothese. Je toets altijd de nul-hypothese (dit is inderdaad het uitgangspunt), deze wordt al dan niet verworpen ten faveure van de alternatieve hypothese.

Answer 2

(M.a.w.: Je toetst of het gevonden verschil tussen de gemiddelden een werkelijk bestaand verschil is of dat het verschil alleen op toeval berust.?)

Nee - de toets betreft de kans op een verschil van een gegeven omvang (of extremer) onder aanname dat de nulhypothese waar is. Als je p-waarde voldoende laag is, verwerp je de nulhypothese, en concludeer je dat het aannemelijk is dat  er een verschil bestaat in de populatie. Je kunt nooit weten of iets werkelijk bestaat jammer genoeg.

Uitgangspunt (je bedoelt dat de nulhypothese altijd het uitganspunt is?) bij de t‐toets is dat de varianties van beide groepen aan elkaar gelijk zijn. Daar wordt een afzonderlijke hypothese voor geformuleerd, namelijk de nulhypothese H0 voor de varianties.

De aanname van gelijke varianties is een aanname van de t-toets. Het is geen nulhypothese bij de t-toets.

Er bestaat overigens wel een toets om te toetsen of de varianties gelijk zijn (Levene's test), en bij die toets is het wel een nulhypothese.

Als die aanname wordt geschonden, geeft de t-toets een verkeerd beeld, en moet de t-toets voor ongelijke varianties worden gebruikt. Zoals in het materiaal wordt uitgelegd, kun je beter altijd de t-toets voor ongelijke varianties gebruiken: die heeft die aanname niet, heeft eigenlijk geen nadelen, en dan hoef je Levene's test niet uit te voeren.

Dan nog een vraag: klopt het dat als je een alternatieve hypothese toetst en die wordt aangenomen, dat dan dan de nulhypothese automatisch wordt verworpen? Zo ja, is dat andersom ook het geval?

Je toetst inderdaad nooit een alternatieve hypothese. Dit kan wel, maar wordt bijna nooit gedaan en valt dus ook niet onder de lesstof.

Je toetst de nulhypothese. Die kun je verwerpen.

Op dat moment weet je niets over de alternatieve hypothese. Die wordt immers niet getoetst.

Een goed geformuleerd alternatieve hypothese, die wel toetsbaar zou zijn, zou bijvoorbeeld zijn: "Het verband tussen X en Y heeft een effectgrootte van d = .5." Die hypothese maakt het mogelijk om te berekenen hoe groot de kans is op het verschil dat je hebt gevonden in je steekproef, er vanuitgaande dat die alternatieve hypothese waar is. Je kunt dan, net als bij NHST, besluiten om de alternatieve hypothese te verwerpen als die kans voldoende klein is (die kans zou je weer p-waarde kunnen noemen, hoewel dat wat verwarrend is: mensen denken dan waarschijnlijk dat het de kans op je uitkomsten is onder aanname van de nulhypothese).

Maar, dit gebeurt dus bijna nooit.

Wat in de praktijk gebeurd als mensen de nulhypothese verwerpen, is dat er betrouwbaarheidsintervallen voor de effectgrootte worden opgesteld. Daarmee kan dan worden gezegd hoe sterk het verband wellicht in de populatie is.

Sterker nog, die laatste stap moet je ook uitvoeren als je de nulhypothese niet verwerpt.

Het is prima om geen NHST te doen (dus geen p-waarde te berekenen, en de nulhypothese niet te toetsen). Deze methode (NHST) is geen handige aanpak als je wetenschap bedrijft, tenzij je precies weet wat je doet, en die mate van expertise valt ver buiten het curriculum. Het is beter om altijd effectgroottes en betrouwbaarheidsintervallen te berekenen.

Zoals besproken in de cursus wordt NHST besproken omdat het lange tijd de gangbare aanpak was, niet omdat het een goed idee is ;-)