Effect size nav t-toets / ancova?

Question

Ik heb een t-toets gedaan om groepen te vergelijken. Daar bij heb ik met drie covariaten de effecten met een ANCOVA getoetst.

Ik wil nu graag de effect size berekenen. Doe ik dit met de M en SD van de t-toets of met M en SD van de ANCOVA waarbij de covariaten een gemiddelde score hebben gekregen?

 

Ik krijg namelijk bij de t-toets 0.76 en na ANCOVA 0.92 als effect size Cohen's D.

Comments

Waarom een combinatie van een t-toets en een ancova? En zijn alle drie covariaten noodzakelijk?

Waarom verwacht je dat de effectgrootten tussen een toets zonder controlevariabele identiek zou zijn aan eentje met een of meer controlevariabelen?

Answer 1

In multivariate designs is het berekenen van een effect size veel minder zinnig dan bij bivariate analyses. Dit omdat de waarde van effect sizes er nu net in zit dat ze een min of meer 'objectieve' maat vormen voor hoe sterk variabelen samenhangen; een maat die over studies vergeleken kan worden. Echter, bij multivariate analyses wordt een deel van de variantie in de voorspellers en de afhankelijke variabele uit het model (en de analyse) verwijderd.

Bij een ancova wordt bijvoorbeeld, voordat het anova-deel wordt gedraaid (in jouw geval een t-toets) alle variantie in de afhankelijke variabele die wordt gedeeld met de covariaten, uit de afhankelijke variabele verwijderd. Deze variabele is daarna dus een andere variabele dan hoe hij oorspronkelijk is geoperationaliseerd; en daardoor is vergelijking met andere studies niet vanzelfsprekend.

In meta-analyses, waar verbanden uit verschillende studies worden gecombineerd om harde(re) conclusies te kunnen trekken, zijn effect sizes uit multivariate designs daarom alleen bruikbaar als alle geincludeerde studies precies dezelfde designs gebruikten; anders zijn de effect sizes steeds ergens anders voor gecorrigeerd.

Om die reden zou ik de bivariate effect size rapporteren. Als je kunt zou het ook goed zijn om het betrouwbaarheidsinterval van Cohen's d te berekenen; als je wil kunnen we ook uitleggen hoe je dat doet.