Moet van 4 groepen afzonderlijk of ineens de normaalverdeling bepaald worden?

Question

In vier groepen heb ik twee vragenlijsten 2x afgenomen (pre-post quasi-experimenteel control-groep design). De groepen bestaan uit havo-3 klassen, en zijn dus vergelijkbaar. Moet ik op normaalverdeling per groep controleren (zoals in p.232 Field, 2018 genoemd wordt, ivm categoriale predictoren) of mag/moet ik ze als geheel nemen?

Answer 1

De assumptie van normaliteit betreft de normaalverdeling van de residuen van het model. Het hangt een beetje van de analyse af wat dit precies betekent.

In het geval van een 'simpele' factoriele anova, dus groepen die vergeleken worden, en geen covariaten in het model, dan is het voldoende om per groep de normaalverdeling te toetsen.

Makkelijker is echter om in de analysesoftware bij het opvragen van de analyse de optie aan te vinken om standardized residuals op te slaan. In SPSS en jamovi is dit een optie bijvoorbeeld. Je kunt dan vervolgens de normaalverdeling toetsen van de standardized residuals. In Jamovi is het bij sommige analyses zelfs mogelijk om dit direct binnen de analyse zelf te doen door een normality test op te vragen. 

Het voordeel van het toetsen van de (standardized) residuals is dat het in iedere toets mogelijk is. Per groep toetsen heeft weinig zin bijvoorbeeld wanneer er covariaten in het model staan. De scores per groep worden namelijk nog voor de covariaat gecorrigeerd, dus aangepast. Het opvragen van de standardized residuals en deze toetsen maakt het dan ook mogelijk om bij complexere modellen dan simpele (factoriele) designs de normaliteitsassumptie te toetsen

Comments

Dit helpt me al wat verder. Het betreft een pre-post design waarbij ik de voormeting als covariaat opneem in de ANCOVA. Uit uw antwoord maak ik op dat ook daarbij beter is om bij de hoofdanalyse de normaalverdeling van de residuals op te vragen. Voor mijn idee wordt de chech op normaalverdeling altijd voorafgaand aan de hoofdanalyse gedaan, maar blijkbaar ligt dat niet zo zwart-wit?

---

Het is meer  het probleem dat 'residuals' alleen bestaan wanneer er een model bestaat. Het zijn namelijk de verschillen tussen wat het model voorspelt, en wat de werkelijkheid is per observatie. De enige manier om het model te verkrijgen is om het model op te vragen. Dus je kunt het beter als een analyse met twee fasen te bezien: een deel datascreening, en dan de analyse zelf.

Afhankelijk van wat je met de assumptieschending zou willen doen kun je dan nog koers wijzigen. Ik zou niet puur op basis van nonnormale residuen bijvoorbeeld gaan kiezen voor een nonparametrische toets. Deze toetsen hebben dikwijls minder power, en het is maar de vraag of het verlies aan power van de nonparametrische toets opweegt tegen de power die verloren zou zijn bij nonnormale residueen.

Nonnormale residuen, vooral wanneer er scheefheid is (gemiddelde van de residuen is niet nul), dan wijst dat meestal op een 'hierarchische' gelaagdheid in de data, zoals bij multilevelanalyse wordt opgelost. Als je bijvoorbeeld verschillende klassen of scholen hebt verzameld, dan kunnen klas- of schooleffecten tot 'clusters' van waarnemingen leiden. Binnen klassen zijn waarnemingen meer gelijk dan tussen klassen bijvoorbeeld. Dit kan impact hebben op de residuen wanneer je niet voor die hierarchie corrigeert in je model.

---

Bedankt Ron, ik kan hiermee verder.
Ik ga de ICC bepalen in mijn datascreening. In een artikel (weet even niet meer welk) las ik dat deze waarde een indicatie kan zijn voor de mate van gelaagdheid in de data. Mocht de gelaagdheid blijken, kies ik voor multilevel analyses (als dat haalbaar is).