Keuze voor ANOVA bij toets.

Question

Hartelijk dank voor dit snelle antwoord. De repeated measures Anova en de mixed Anova geven beiden dezelfde uitkomsten. Er is geen sprake van een interventie alleen van een meting of iets is veranderd in de tijd. Er is ook geen sprake van een verband. Wel is sprake van een verandering in de tijd meting 1 van vier scholen. En die zijn getoetst op vier schalen (bijv de drie motivatie facetten).

Daarna lijkt het vanwege een hogere N op zowel de voormeting als de nameting en het niet relevant zijn van de within subjects voor onderzoeksvraag 2 om dan die andere toets te doen. Dit kan van te voren en zeker ook met corona problematiek (scholen waren gesloten ten tijde van de tweede meting) ook niet kunnen voorzien. En ik kan uiteraard met de repeated measures rapporteren, maar dan heb ik helaas een hele lage N op de between subjects uitkomst. Vandaar mijn vraag.

Answer 1

Als je onderzoeksvraag een verandering in tijd betreft, kun je deelnemers die zijn uitgevallen sowieso niet gebruiken natuurlijk.

Maar als je uitval niet triviaal is, is het moeilijk om onderzoeksvragen over veranderingen in de tijd te beantwoorden. Het is dan goed mogelijk dat de uitval samenhangt met het proces waar mensen door gingen, of met persoonskenmerken, etc. Of de uitval samenhangt met iets dat je toevallig hebt gemeten op de voormeting kun je bekijken, maar je kunt niet goed bepalen of de uitval samenhangt met andere mogelijke confounders, zoals het proces waar mensen doorheen gingen in die tussentijd.

Verandering over tijd kan anders verlopen voor deelnemers die uitvallen dan voor deelnemers die niet uitvallen. Als er veel uitval is, kan dat veroorzaken dat er in je steekproef een verandering over tijd lijkt te hebben plaatsgevonden terwijl dat niet zo is (bijvoorbeeld omdat mensen in bepaalde situaties zijn uitgevallen, en mensen in de overgebleven situaties anders scoren op je meetinstrumenten); of andersom, in de steekproef kan het lijken alsof er geen verandering heeft plaatsgevonden, terwijl die er wel was maar niet zichtbaar is omdat de mensen die de verandering doormaakten daardoor zijn uitgevallen.

Dat de mixed anova dezelfde uitkomst geeft is inderdaad logisch. Ik bedoelde multilevel regressie (zie cursus Longitudinaal Onderzoek).