Is het nuttig om bij een Mixed ANOVA (geen randomisatie) het verschil tussen groepen voor de manipulatie te vergelijken?

Question

Moet er bij een mixed ANOVA met verschillende between-groups die op verschillende momenten gemeten worden bekeken worden of er verschillen zijn tussen de groepen voor de manipulatie? Of maakt het eigenlijk niet uit doordat de nametingen van elke groep vergeleken worden met de nametingen van dezelfde groep?

Answer 1

Je hebt juist geidentificeerd waar de schoen wringt. Bij NHST (Null-Hypothesis Significance Testing) toets je of een geschatte parameter waarschijnlijk een random trekking is uit een populatie met een gegeven verdeling en parameters. Als je dit toepast op het toetsen van de voormeting bij randomisatie, dan toets je of een steekproef op basis van randomisatie voortkomt uit een populatie die gerandomiseerd is. Het antwoord weten we al, dat is ons namelijk niet alleen niet onbekend, maar door ons geforceerd. NHTS heeft enkel zin als we niet weten of onze steekproef uit een gegeven populatie komt.

Dus, zoals je zelf al lijkt te hebben ontdekt: bij quasi-experimenten, waar dus geen randomisatie plaatsvindt weet je niet in hoeverre je de steekproef mag behandelen als zijnde random getrokken uit dezelfde populatie. Nog sterker: je weet eigenlijk wel zeker van niet. Het is dan van belang om te identificeren op welke kritieke (en potentieel kritieke) variabelen de vergeleken groepen structureel afwijken. Een bijzonder geval betreft hier de voormeting van de afhankelijke variabele zelf. Ik zou bijzonder voorzichtig zijn met conclusies trekken over verschillen op deze voormeting. Het moet een start zijn met zoeken naar oorzaken hiervan. Maar, zoals je aanvoelt: zinvol is het wel om ernaar te kijken

Hoe dit op te lossen is een lastigere vraag. In deze cursus wordt in Thema 4 de covariaat behandeld. Het is van belang om deze term puur zo in zijn statistische context te behandelen, dus als een term die de wiskundige functie van de variabele in een model beschrijft; een covariaat als zijnde een interval level variabele in een linear model. Theoretisch is er namelijk een verschil tussen een covariaat en een confounder  Een theoretische covariaat heeft enkel een relatie met de afhankelijke variabele, maar niet met de onafhankelijke. Een confounder heeft een relatie met zowel de onafhankelijke als de afhankelijke variabele. Het is nuttig, zeker in quasi-experimentele designs, om hier een onderscheidt tussen te maken.

Dit is ook de reden dat in Field een van de assumptietoetsen bij covariaten bestaat uit het toetsen of de covariaat geen relatie heeft met de onafhankelijke variable. Zodra dat het geval is verandert de rol van de variabele. Eenzelfde probleem ontstaat wanneer de relatie van de covariaat met de afhankelijke variabele verandert bij een andere waarde van de onafhankelijke variabele. 

Om deze reden is het zeker bij quasi-experimenten van belang om goed naar systemen van matching en homogenisering, etc. te kijken.