Hoe ongelijk moeten de verschillende groepen in proefpersonen (N) zijn voordat een T-toets onbetrouwbaar wordt?

Question

Beste,

Ik kan mij herinneren dat ik ergens gehoord heb dat wanneer het aantal proefpersonen 3x zo groot is in de ene groep dat in de andere groep dat dit de t-toets onbetrouwbaar maakt. Dit valt dan ook niet meer te corrigeren met de correctie wanneer Levene's test is geschonden. Klopt dit?

Alvast bedankt!

Answer 1

Nee, dit klopt niet. De t-toets bestaat simpelweg uit het delen van het verschil tussen twee gemiddelden door een schatting van de standaardfout.

Die standaardfout is de standaarddeviatie van de steekproevenverdeling.

In het bijzonder de steekproevenverdeling onder aaname dat de nulhypothese klopt.

Meestal is dit de steekproevenverdeling van het verschil tussen de twee gemiddelden.

Je moet dus een goede schatting van die standaarddeviatie (oftewel van de standaardfout) hebben.

Als de nulhypothese klopt, komen alle observaties van de continue variabele (meestal y) uit dezelfde populatie. De standaarddeviatie in beide groepen is dan gelijk. Hoe groot je steekproeven zijn maakt dan niet uit.

Als de nulhypothese niet klopt, komen de observaties uit verschillende populaties. Dan kunnen de standaarddeviaties in die populaties nog steeds hetzelfde zijn - het is mogelijk dat alleen de gemiddelden verschillen. In dat geval maakt het ook niet uit hoe groot je steekproeven zijn.

Echter: als de observaties uit verschillende populaties komen, en die populaties hebben andere standaarddeviaties, dan maakt de omvang van de groepen uit. De grootste groep trekt dan immers de standaardfout naar zich toe.

In dat geval is de vraag over of de t-toets robuust is niet de belangrijkste vraag. De belangrijkste vraag die je jezelf moet stellen is dan: hoe kan het dat de spreiding verschilt? Is je operationalisatie wel even valide in beide groepen? Heb je misschien last van restriction of range in een van de groepen? Of is er iets fout gegaan bij de werving waardoor je in een groep meer homogeniteit hebt dan in de andere?

Als je validiteit wordt bedreigt, dan maakt de t-toets immers ook niet meer uit - dan representeren de scores op de afhankelijke variabele sowieso niet het construct waarin je geinteresseerd bent. De uitkomst van die t-toets, en hoe robuust die is, is dan dus ook niet interessant meer - die kan je dan niet helpen met het beantwoorden van je onderzoeksvraag.