Is een RM-ANOVA écht hetzelfde als een verschilscore ANOVA?

Question

Ik heb ergens gelezen dat als je een voor en nameting hebt een RM-ANOVA in feite hetzelfde is als een verschilscore berekenen. Maar dat je geen verschilscore mag berekenen i.v.m. stapeling meetfouten (en dus een last resort is). Als je een verschil wilt meten moet je RM-ANOVA gebruiken en als de voormeting een baseline meting is kun je ANCOVA gebruiken. Ik ben geïnteresseerd in een verschil, dus wil ik RM-ANOVA doen.

Als ik op mijn data set beide doe dus een RM-ANOVA en een verschilscore ANOVA dan krijg ik inderdaad dezelfde waarden op de F-toetsen, de p-waarden en de effectgroottes, maar uiteraard heb je verschillende waarden voor de gemiddelden van Xt0, Xt1 en Xverschil. Bij de between subjects zie ik dan echter iets raars de gemiddelde waarde van de Xt0 en Xt1 wordt gerapporteerd. Maar als Xt0 een voormeting is (voor manipulatie) dan ben ik niet geïnteresseerd in de gemiddelde waarde, maar in het verschil. Kan ik dit ergens instellen?

Answer 1

Een verschilscore ANOVA is niet gelijk aan een RM-ANOVA. Er zijn zeer veel problemen met verschilscores als afhankelijke variabele, waardoor we deze niet in onze cursussen gebruiken. Kort gezegd: de voormeting wordt gemeten met meetfout, en de nameting wordt gemeten met meetfout. Echter, de voormeting en nameting zijn gecorreleerd; waardoor je niet enkel meetfout optelt, maar meetfout ook gecorreleerd is. Dit betekent dat de verschilscore dus onbetrouwbaarder is dan de som der delen. De RM-ANOVA heeft dus meer power, omdat er geen attenuatie van meetfout plaatsvindt.

RM-ANOVA en verschilscore ANOVA leveren bij twee metingen nagenoeg dezelfde uitkomsten. Een ANCOVA kan bij twee metingen mogelijk meer power hebben mits aan de assumpties van covariaten is voldaan.

Comments

Bedankt voor deze vraag en dit antwoord, ik was op zoek naar informatie over dit onderwerp.

Het antwoord maakt wel het een en ander duidelijk maar is voor mij nog niet 100% helder. Wat ik nog niet helemaal snap is het volgende: Bij een RM-ANOVA met maar 2 meetmomenten krijg je exact dezelfde p-waardes als bij een verschilscore ANOVA (ik heb het even uitgeprobeerd). Hoe kan het dan dat je toch meer power hebt als je de RM-ANOVA uitvoert maar wel dezelfde data en dezelfde uitkomsten hebt?
Of ging die opmerking over power over scenarios waar je meer dan 2 meet momenten hebt?

---

Twee meetmomenten zijn een beetje een uitzondering inderdaad. Er zijn een aantal zaken die maken dat een verschilscore analyse afwijkt van RM-ANOVA en het handiger is om standaard naar ANCOVA of RM-ANOVA te kijken bij twee meetmomenten. Een uiterst summiere bottom-line samenvatting:

- bij twee meetmomenten zal een verschilscoreanalyse de rol overnemen van de interactie tussen within en between subjects. Als je alleen in de interactie geinteresseerd bent, dan zou een verschilscoreanalyse niet substantieel moeten verschillen van RM-ANOVA. Maar als je geinteresseerd bent in de hoofdeffecten van within en van between, dan ontbreken deze in je verschilscore model.

- RM-ANOVA verwijderd zowel between als within SS uit de SSE, en kan zo meer variantie verklaren.

- in hoeverre RM-ANOVA en ANCOVA beter werken dan verschilscoreanalyse is deels afhankelijk van het design; in gerandomiseerde designs is ANCOVA het krachtigst, in quasi-experimentele designs is het onduidelijk welke methode de meeste power heeft.

---

Bedankt! Duidelijk