Op de voormeting is er een verschil tussen lage en hoge sociale status. Moet je deze dan als covariaat toevoegen in je effectevaluatie?

Question

Stel dat je op de voormeting een verschil ziet tussen prestaties bij lage en hoge sociaaleconomische status. Moet je deze variabele dan als covariaat toevoegen aan je effectevaluatie (repeated measures analyse)?

Answer 1

Ik neem aan dat je hebt over een experiment hebt, waarbij de randomisatie tussen deelnemers plaatsvond.

In dat geval: nee. Nulhypothese toetsing op een voormeting is in een experiment logisch onhoudbaar.

Dat komt omdat je al zeker weet dat je nulhypothese waar is. De nulhypothese die je toetst is of de twee groepen uit verschillende populaties komen: maar ze komen uit dezelfde populatie. Je hebt ze uitsluitend op basis van toeval ingedeeld. Als je p-waarde lager is dan .05, dan is dat dus door toeval.

Desalniettemin kunnen de twee groepen natuurlijk verschillen. Of randomisatie slaagt (als in, of het lukt om equivalente groepen te creeeren) hangt af van de groepsgrootte.

Met twee groepen van elk 25 deelnemers zal een willekeurige confounder in de helft van de studies (50%) minimaal een klein verschil vertonen, en in 8% van de steekproeven minimaal een middelgroot verschil. Bij een studie met 100 deelnemers per groep (dus 200 deelnemers in totaal) is de kans dat de groepen een klein (of groter) verschil vertonen afgenomen tot 16%, en komt een middelgroot verschil amper nog voor. Natuurlijk zijn er meerdere mogelijke confounders, en de kans dat er minimaal eentje verschilt wordt natuurlijk groter naarmate er meer confounders zijn. Bij twee confounders is bij 200 deelnemers de kans dat er minimaal één een klein of groter verschil vertoont al 25% tot 30%, afhankelijk van hoe sterk die twee confounders met elkaar samenhangen.

Met kleine steekproeven is de kans op ongelijke groepen dus groot. In dat geval kun je beter van te voren vaststellen welke mogelijke confounders er zijn, en welke effectsize (per confounder) als 'confounding' wordt gezien. Alle confounders die minimaal verschillen met die effectsize neem je dan op als covariaat.

Houd er rekening mee dat dit power kan kosten; ironisch genoeg heb je dus misschien wat meer deelnemers nodig (ironisch omdat genoeg deelnemers je praktisch verzekeren van equivalente groepen).