Dit staat inderdaad niet goed op YouLearn. Tenminste - het is te ambigu.
Je kunt het alleen zinnig over cross-over effecten hebben in de context van twee manipulaties tegelijk. Een cross-over effect is een symptoom van een niet-valide operationalisatie: je manipulatie beinvloedt niet (alleen) het construct dat het moet beinvloedden, maar (ook) een ander construct.
Om verdere verwarring te voorkomen zal ik alles nog even op een rijtje zetten.
Constructen zijn theoretische variabelen. Ze hebben een naam en een definitie. Die definitie maakt het mogelijk om operationalisaties voor ze te ontwikkelen. Constructen zijn theoretisch, en bestaan dus niet echt/zijn niet tastbaar. Het zijn wetenschappelijke concepten: hulpmiddelen om de wereld te begrijpen en er over te kunnen praten. IQ, of leervaardigheid, of extraversie, bijvoorbeeld, zijn geen woorden voor hersengebieden ofzo; het zijn door mensen bedachte concepten, die door hun definties niettemin meting mogelijk maken, en ons in staat stelt om dingen te voorspellen. Al die zinvolle dingen die we met IQ, leervaardigheid, of extraversie kunnen vereist niet dat IQ, leervaardigheid of extraversie echt als zodanig bestaan: het zijn wetenschappelijke, theoretische concepten (constructen).
Operationalisaties bestaan wel echt, en vormen de link tussen de 'echte wereld' en constructen. Operationalisaties kunnen (met veel moeite) aan de hand van de definities van de constructen worden ontwikkeld. Er zijn twee typen operationalisaties: meetinstrumenten en manipulaties.
Manipulaties bestaan bij stimuli en/of procedures die zijn ontworpen of geselecteerd om een specifiek construct te veranderen. Een manipulatie kan bijvoorbeeld een filmpje zijn dat is gekozen omdat het mensen verdrietig maakt.
Meetinstrumenten bestaan uit stimuli en/of procedures plus een registratie van een respons, en zijn juist ontwikkeld om een specifiek construct te meten (zonder het te veranderen, idealiter). Een meetinstrument is bijvoorbeeld een vraag (stimulus) met een antwoordschaal (respons registratie) om te meten hoe verdrietig iemand zich voelt.
Validiteit is de eigenschap dat een operationalisatie het construct, waarvoor het is ontwikkeld, manipuleert of meet, en ook alleen dat construct manipuleert of meet. Dus, een meetinstrument om verdietigheid te meten, moet geen verschillen meten tussen mensen die even verdrietig zijn, maar verschillen in boodheid, of melancholie, of optimisme, of extraversie. En een manipulatie om het verdriet van mensen te verhogen moet niet leiden tot een verhoging van boosheid, melancholie, of optimisme, of extraversie. Als een operationalisatie niet valide is (i.e. niet uitsluitend het doel-construct meet/beinvloedt), betekent dat dat het design (de opzet) van studies waar die operationalisatie in zit, niet valide is. Als onderzoeker kun je dan je onderzoeksvragen/hypothesen niet langer beantwoorden. Stel je bijvoorbeeld voor dat je een operationalisatie hebt ontwikkeld om verdriet te verhogen (een manipulatie dus), omdat je wil weten of verdriet causaal samenhangt met lagere zelfcontrole. Als die operationalisatie dan niet voldoende valide is, omdat hij bijvoorbeeld niet alleen verdriet beinvloedt, maar ook boosheid, of ook moeheid, dan kun je je onderzoeksvraag niet langer beantwoorden. Zelfs als je dan een verband vindt van enerzijds toepassing van je manipulatie met anderzijds zelfcontrole, dan betekent dat nog niet dat er een verband is tussen verdriet en zelfcontrole. Want omdat je operationalisatie niet valide is, kan het verband dat je vind met zo goed een verband zijn tussen boosheid en zelfcontrole, of moeheid en zelfcontrole. Als je zou concluderen dat verdriet inderdaad tot lagere zelfcontrole leidt, zou je dus een fout maken.
Betrouwbaarheid is de mate waarin je operationalisatie vatbaar is voor ruis. Hoe meer ruis, hoe minder je aan een operationalisatie hebt: Als een manipulatie soms een groot effect heeft op verdriet, en soms een klein effect, moet je meer deelnemers hebben om er vanuit te kunnen gaan dat je gemiddeld genomen je gewenste effect op verdriet hebt. En bij meetinstrumenten geldt hetzelfde: als er veel meetfout is, heb je meer mensen nodig om een daadwerkelijk verschil tussen gemiddelden te detecteren.
Manipulatiechecks zijn verificaties van de validiteit van je manipulatie. Normaal gesproken voer je uitgebreid onderzoek uit naar je manipulaties voordat je je hoofdstudie uitvoert, zodat je zeker weet dat je manipulaties het doelconstruct beinvloeden, maar geen andere constructen beinvloeden.
Cross-over effecten zijn causale verbanden van je manipulatie op andere constructen dan je doelconstruct. Als er cross-over constructen zijn, is de design (studie-opzet) niet valide meer. Hier zijn twee redenen voor. Ten eerste zul je niet meer zuiver kunnen kijken naar het effect van je manipulatie op je doelconstruct: vanwege de samenhang met het 'verkeerde beinvloedde construct' is deze analyse vervuilt. Je verliest de controle die je normaal wint in een experimenteel design: je design wordt quasi-experimenteel, omdat 'het verkeerde construct' nu soms wel is beinvloedt, en soms niet; waarom/wanneer dat wel of niet gebeurde is afhankelijk van factoren die je niet onder controle hebt. Je hebt dus geen zuiver experimenteel design meer. De tweede reden is dat je een sterke aanwijzing hebt dat je manipulatie niet valide is; hij beinvloedt duidelijk minimaal een ander construct, terwijl dat uitdrukkelijk niet de bedoeling was. Kennelijk klopten je aannames over de validiteit van je operationalisatie niet. Dus wie zegt dat er niet ook nog allerlei andere constructen worden beinvloedt?
Met de term 'congruent effect' ben ik niet zo bekend; ik zal een collega vragen daar nog even een definitie van te geven, zodat het rijtje compleet is.
