Welke test geloven als verschil tussen ANCOVA en mixed ANOVA?

Question

Stel: je hebt een experiment met een voormeting en 1 nameting, twee gemanipuleerde onafhankelijke variabelen en één afhankelijke variabele. De afhankelijke variabele blijkt reeds verschillend tussen de condities in de voormeting. Als je dan een ANCOVA uitvoert, is het wellicht toch de bedoeling dat je bij het testen van de assumptie van homogeniteit van de regressiehelling ook de twee factoren tegelijk ingeeft? Maar dan heb je verschillende interactietermen (covariaat*factor1, covariaat*factor2, covariaat*factor1*factor2, factor1*factor2) en ik heb gemerkt dat dan bvb plots de interactie tussen de twee factoren wel significant kan blijken (en ook die voor interacties met de covariaten), terwijl die bij het gewone doorlopen van de ANCOVA (dus niet om de regressiehellingen te controleren) nog niet significant was (en ook niet als je de assumptie voor de regressieslopes apart test met telkens één van beide factoren opgenomen). Dat wordt dan wel moeilijk interpreteerbaar. Is er dan een interactie-effect tussen de condities (zoals bij ANCOVA met customized model voor assumptie-test met twee factoren opgenomen) of niet (zoals de eerdere ANCOVA aangaf)? Of kan je in zo’n geval dan beter overstappen naar een mixed ANOVA (met repeated measures)? Dat heb ik ook geprobeerd en dan blijkt het interactie-effect (tussen condities) niet significant. Die verschillende resultaten verwarren mij wel wat. Welke test moet ik dan eigenlijk uitvoeren/geloven?

Answer 1

Helaas is hier geen echt bevredigend antwoord op te geven, omdat er geen objectief 'goed' antwoord is. Alle toetsen hebben hun eigen assumpties waaronder ze opereren en afhankelijk van de data kunnen sommige toetsen krachtiger zijn dan de alternatieven, maar welke dat zijn is per context verschillend.

Het beste kun je daarom niet teveel 'shoppen' in toetsen. Maak een weloverwogen beslissing voor welke toets je kiest, en houd je model zo schoon mogelijk (zo min mogelijk redundante toevoegingen), en probeer bij die keuze te blijven.

Een goed robuust model met sterke effecten is redelijk gewapend tegen toetsing in net iets andere toetsen of met net iets andere parameters. Zwakke modellen, of modellen met zwakke effecten zijn redelijk breekbaar. Als een conclusie compleet kan veranderen naar gelang relatief kleine techniekwijzigingen worden toegepast dan zegt dit eigenlijk ook wat over de bewijskracht van de data.