Er worden tegenstrijdige dingen gezegd in de virtuele bijeenkomsten. Wat is nu juist?

Question

In de virtuele bijeenkomsten worden volgens mij tegenstrijdige dingen gezegd, namelijk:

Bijeenkomst 1: je kijkt eerst of de groepen vooraf gelijk zijn. Als dat niet zo is, dan is de randomisatie niet goed geweest en als oplossing wordt het volgende gezegd:
1. Experiment opnieuw doen, maar dat is moeilijk, want deelnemers zijn schaars.
2. Voormeting als covariaat meenemen, dus een covariantieanalyse doen.

Bijeenkomst 3: de covariaat moet onafhankelijk moet zijn van de interventie en een voormeting is afhankelijk, dus die eis wordt geschonden. Dan zou hij overstappen naar een herhaalde meting. Dit is waar we net vandaan kwamen. Sterker nog, hij zegt nu dat het niet uitmaakt bij herhaalde meting of de groepen verschillen op de voormeting, want er wordt gekeken of de lijnen parallel lopen.

Heel verwarrend dit. Wat zijn nu de juiste stappen? Kijk je bij herhaalde meting nu wel of niet naar of de groepen gelijk zijn op voorhand? En ga je over op een covariantieanalyse als ze dus niet gelijk zijn of blijf je bij de herhaalde meting?

Ook wordt er uitgelegd bij welke hypothese je welke analyse doet:
1. Stijging/daling-hypothese: herhaalde meting
2. "Na afloop"-hypothese: covariantieanalyse
Dus dat de analyse die je doet afhankelijk is van je hypothese en niet van wat er uit de eerste analyses - zijn de groepen vooraf gelijk? - komt. Maar dit is tegenstrijdig met de oplossing in bijeenkomst 1.

Answer 1

In de eerste bijeenkomst ging het om een between-subjects design. Daar heb je normaal maar 1 datapunt voor de afhankelijke variabele. Als je groepen dan niet equivalent zijn als je studie start, kan dat je validiteit bedreigen. En randomisatie werkt niet altijd goed, dus dit is een risico.

Zo gauw je meerdere meetmomenten per deelnemer hebt, maakt dit minder uit. Niet niks - want er kan interactie zijn tussen een variabele die op baseline verschilt en het effect van je manipulatie, en die interactie blijft dan een verstorende factor. Maar als die interactie er niet is, maken baseline-verschillen niet uit. Dat geldt dus alleen bij within-subjects experimenten.