wat zijn de consequenties van een cross-overeffect in een onderzoek?

Question

Volgens mij heb ik in mijn opdracht tweemaal getest dat er een cross-overeffect is (variabele a wordt beinvloed door variabele b terwijl dit niet de bedoeling is). Ik heb veel gelezen erover en snap wat het is, dat is niet mijn probleem. Ik weet dat ik niet over het tentamen vragen mag stellen, maar begrijp nu niet goed hoe ik dit cross-overeffect moet verwerken. Deze info kan ik nog niet vinden. Ik lees dat door cross-overeffecten mijn groepen niet meer 'bruikbaar' zijn omdat er ongewenste verschillen zijn tussen de twee onafhankelijke variabele en de controlevragen.

Kan ik gewoon verder met mijn opdracht gaan en de hyptohesen testen en de bedreiging van de interne validiteit bespreken in de discussie? Of zijn er andere maatregelen nodig bij een significant crossovereffect voordat ik verder ga?

Answer 1

Als er een cross-over effect is, zijn je manipulaties 'vervuilt': dit zijn niet langer valide operationalisaties van de variabele die ze zouden moeten representeren. Dit betekent dat je niet langer een zuiver experiment uitvoert: je kunt niet langer concluderen dat eventuele verschillen komen door je onafhankelijke variabelen (i.e. je manipulaties). De effect size van de manipulaties op de betreffende manipulatiecheck in vergelijking met de effect size van de manipulaties op de 'verkeerde' manipulatiecheck kan je informatie geven over hoe erg deze schending van de validiteit van je manipulaties is. Als beide manipulaties een veel sterker 'bedoeld' effect hebben dan hun onbedoelde effect, is de verstoring natuurlijk veel minder erg dan wanneer elke manipulatie evenveel invloed heeft op beide manipulatiechecks.

Zoals je merkt is dit een subjectief besluitvormingsproces, net als het beoordelen van de validiteit van je meetinstrumenten d.m.v. factor-analyses en berekening van betrouwbaarheidsindices. Net als bij informatie uit factor-analyses en betrouwbaarheidsanalyses geldt dat er geen harde beslissingsregels zijn: het belangrijkste is dat je je besluiten goed kunt onderbouwen, en je besluitvormingsprocessen documenteert en rapporteert zodat lezers hun eigen oordeel kunnen vormen.

Denk dus goed na over wat je ziet en wat je er van denkt: en bepaal dan wat dit betekent voor de interpretatie van je uitkomsten. Pas hierbij goed op dat je de data laat prevaleren boven je hypotheses en opvattingen/uitgangspunten die je zelf hebt. Wees niet bang om te concluderen dat een theorie niet klopt als je data dat uitwijzen.