4 groepen, 4 schalen, twee meetmomenten welke toets?

Question

Goedemiddag,

Ik doe een onderzoek onder 4 scholen met een vragenlijst van 4 schalen die op twee momenten zijn afgenomen.

1 onderzoeksvraag gaat over de ontwikkeling, ik had een repeated measures gedaan omdat ik begreep dat deze toets zowel de within subjects als de between subjects meeneemt, maar ik zie dat ik dan een hele lage N heb omdat alleen de respondenten worden meegenomen die de voor- en de nameting hebben ingevuld.

de 2e onderzoeksvraag gaat over de verschillen tussen de groepen. Dit zou in die repeated measures meegenomen kunnen worden, maar is het dan niet handiger om een andere toets te gebruiken wanneer ik de voormeting apart analyseer en de nameting ook? om de verschillen tussen groepen te kunnen duiden en een hogere N te hebben? Want de verschillen tussen de groepen op de voormeting hebben niets te maken met of de vragenlijst wel of niet twee keer is ingevuld.

Ik zou dan toch denken aan een mixed anova voor de eerste vraag (ontwikkeling?) en een Manova voor de tweede vraag? (verschillen tussen groepen en tussen de schalen?).  

Ik hoop dat iemand mij hier wat helderheid in kan verschaffen.

Gr danielle

Answer 1

Hier zijn allerlei antwoorden op, met elk eigen voor- en nadelen. In principe moet je dit besluiten (en vastleggen) voordat je dataverzameling start, omdat elke analyse andere implicaties kan hebben voor hoeveel deelnemers je moet werven om in staat te zijn conclusies te trekken. Dit van-te-voren uitwerken is een van de redenen dat het belangrijk is om je onderzoek altijd te preregistreren; dat dwingt je tot die uitwerking van te voren.

In dit geval zou ik multilevel regressie gebruiken denk ik; daarbij kunnen data van deelnemers die na de voormeting uitvielen toch worden meegenomen. Sowieso moet je 'school' modelleren, en 'klas' ook waarschijnlijk. Ik weet niet zeker of dat goed genoeg kan met repeated measures anova.

Jij hebt dus afhankelijkheid van data binnen scholen; klassen; personen; en meetmomenten. De bijbehorende varianties moet je goed toewijzen, en ik ben onvoldoende bekend met hoe repeated measures anova werkt om te kunnen inschatten of dat daarmee kan.

Hoe dan ook moet je dit met je begeleider bespreken. Dat je die afhankelijkheden in je data zou krijgen was van te voren bekend: als je onderzoek doet in bedrijven of scholen is dat altijd zo. Dus als het goed is heeft je begeleider ook duidelijke ideeen over hoe dit te analyseren.

Je kunt ook terugkijken naar de aanvraag voor ethische toestemming; daarin hebben jullie als het goed is ook gespecificeerd hoeveel deelnemers je ging werven, en dat getal is berekend aan de hand van analyses die pasten bij jullie onderzoeksvragen. Als jullie daar de verkeerde analyses benoemden, had de cETO dit moeten signaleren; dan is de kans dat jullie te weinig deelnemers zouden werven immers aanzienlijk, wat het onderzoek niet ethisch meer maakt (want met te weinig deelnemers is het niet integer om conclusies te trekken).

Als het goed is, is er dus al ergens een antwoord op deze vraag; ik zou je begeleider vragen wat dat ook alweer was :-)