Wanneer mag een aparte voormetingsanalyse uitgevoerd worden en wanneer mag een simple effects analyse uitgevoerd worden?

Question

Tijdens de derde online bijeenkomst van het onderzoekspracticum Psychologisch Experiment werd gezegd dat we onze verschillende hypothesen (rond hoofdeffecten en interactie-effecten) steeds moeten toetsen in één analyse. De vraag werd gesteld in het kader van de eindopdracht.

Betekent dit dan ook het volgende:

1) dat je vooraf geen analyse op de voormeting mag doen om te kijken of de randomisatie goed verlopen is of om te kijken welke analyse je best doet? Of kan dit als een soort manipulatiecheck beschouwd worden?

2) dat je geen aanvullende simple effects analyse mag doen om effecten die gevonden werden voor een onafhankelijke variabele verder uit te splitsen voor de individuele niveaus van de anderen onafhankelijke variabele? Hoewel het niet strikt nodig is om de hypothesen te beantwoorden, kan het wel wat bijkomend inzicht geven over alle verbanden.

Answer 1

1) Je kunt sowieso geen nulhypothese toetsing gebruiken om te kijken of de randomisatie is geslaagd. Dit wordt heel helder uitgelegd in http://ehps.net/ehp/index.php/contents/article/download/1661/pdf_161. Hoeveel deelnemers je nodig hebt voordat randomisatie kans van slagen heeft wordt uitgelegd in https://osf.io/preprints/psyarxiv/38vfn/

2) Dit mag wel. Je moet er echter rekening mee houden dat je hier geen sterke conclusies aan mag verbinden: dat mag alleen voor analyses die je van te voren hebt vastgesteld.