Het is in dit kader handig om even heel helder te hebben waar je mee bezig bent.
Cross-over effecten, manipulatiechecks, en (mogelijke) incongruentie zijn termen die je tegenkomt als je de validiteit van de operationalisaties van je onafhankelijke variabelen verifieert.
In een experiment operationaliseer je je onafhankelijke variabelen meestal met manipulaties. Als die operationalisatie valide is in een gegeven steekproef, dan betekent dat dat het geoperationaliseerde construct is beinvloedt. In dit geval heb je twee operationalisaties: een verdrietig filmpje en een blij filmpje. Het eerste filmpje is een operationalisatie van de emotie verdriet, en het tweede filmpje is een operationalisatie van de emotie blijdschap. Blootstelling aan het eerste filmpje zou dus moeten leiden tot een toename in verdriet, en blootstelling aan het tweede filmpje tot een toename in blijdschap.
Als je wil verifieren of die manipulaties werken (i.e. of je operationalisaties valide zijn), dan kun je dus nooit alleen deze twee filmpjes met elkaar contrasteren. Je moet altijd een controleconditie hebben, waar deelnemers aan een een adequate placebo worden blootgesteld. In dit geval dus een filmpje dat geen effect heeft op verdriet of blijdschap.
Naast dat je ook zo'n neutraal placebo-filmpje (i.e. een controleconditie) nodig hebt, kun je makkelijker naar congruentie en een mogelijk cross-over effect kijken door die tegelijkertijd in een studie te onderzoeken. Dus ik schuif je twee voorgestelde studies in elkaar, en voeg het neutrale filmpje toe.
Er zijn dan twee onafhankelijke variabelen: verdriet en blijdschap. Deze zijn geoperationaliseerd met respectievelijk een filmpje dat is ontworpen of geselecteerd om verdriet te verhogen, en een filmpje dat is ontworpen of geselecteerd om blijdschap te verhogen.
Omdat we de validiteit van die operationalisaties willen verifieren vergelijken we het effect van deze twee filmpjes steeds met een control-filmpje, waarvan we weten dat het geen effect zou moeten hebben op verdriet of blijdschap.
We hebben daarom drie condities: een derde van de deelnemers kijkt het controlefilmpje, een derde van de deelnemers kijkt het verdrietige filmpje (de operationalisatie van onze onafhankelijke variabele 'verdriet'), en een derde van de deelnemers kijkt het blije filmpje (de operationalisatie van onze onafhankelijke variabele 'blijdschap'). We kunnen dit onderzoek ook within-subjects doen trouwens; dan moeten we weten na hoeveel tijd het verwachte effect van de manipulaties weer is uitgedoofd, zodat we elke deelnemer aan alle drie de filmpjes kunnen blootstellen zonder carry-over effecten.
Na elk filmpje meten we bij de deelnemers de afhankelijke variabelen. In het kader van deze verificatie van de validiteit kunnen we de meting van 'blijdschap' en 'verdriet' als afhankelijke variabelen zien (normaal meet je juist een andere variabele als afhankelijke variabele en gebruik je de meting van blijdschap en verdriet alleen om te verifieren of je operationalisaties van je onafhankelijke variabele wel valide zijn).
We meten nu dus zowel blijdschap als verdriet. Niet of mensen het filmpje blij of verdrietig vonden. De subjectieve beoordeling van het filmpje is niet relevant tenslotte: het kan zijn dat mensen blij van een filmpje worden, maar het filmpje toch niet als blij beoordelen. Bovendien is het filmpje niet ontworpen om het oordeel over het filmpje te beinvloeden, maar om de emotionele toestand van de deelnemer te beinvloeden. Die moeten we dus meten.
Met dit design gaan we kijken naar de volgende verbanden:
- Het verband tussen of mensen het verdrietige filmpje hebben gezien (versus het neutrale filmpje) en hun gerapporteerde verdriet;
- Het verband tussen of mensen het blije filmpje hebben gezien (versus het neutrale filmpje) en hun gerapporteerde blijdschap;
- Het verband tussen of mensen het verdrietige filmpje hebben gezien (versus het neutrale filmpje) en hun gerapporteerde blijdschap;
- Het verband tussen of mensen het blije filmpje hebben gezien (versus het neutrale filmpje) en hun gerapporteerde verdriet;
We willen dus vier p-waarden berekenen. Uitgaande van een alpha van .05 delen we daarom de alpha door 4, en gebruiken we per p-waarde een alpha van .0125. Laten we er even optimistisch vanuit gaan dat onze manipulaties zeer succesvol zijn, en een groot effect hebben (Cohen's $d$ = .8). Als we 95% kans willen hebben om een effect van onze manipulaties aan te tonen (om dus niet ten onrechte te concluderen dat eendse manipulatie niet werkt, als hij eigenlijk wel werkt), willen we dus 95% power. Dan kunnen we dit invoeren in G*Power of R om te berekenen hoeveel deelnemers we nodig hebben. We hebben dan 55 deelnemers per conditie nodig (in totaal 165 deelnemers), uitgaande van een between-subjects design.
Na de dataverzameling hebben we dan, van elke deelnemer, drie variabelen: in welke conditie ze zaten, hun gerapporteerde blijdschap, en hun gerapporteerde verdriet.
Nu starten we met de manipulatiechecks, oftewel, de verificatie of onze manipulaties ook valide operationalisaties zijn van de betreffende constructen (i.e. onze onafhankelijke variabelen). Dit zijn analyses 1 en 2 zoals hierboven genoemd. Die toetsen we inderdaad elk met een $t$-toets.
Je eerste vraag is of we al blij zijn als deze $t$-toetsen significant zijn. Je merkt terecht op dat dat nog geen reden tot blijdschap is. Onze manipulaties kunnen immers ook een incongruent effect hebben: misschien werken ze wel de verkeerde kant op! Misschien worden deelnemers, door naar het verdrietige filmpje te kijken, wel significant minder verdrietig. Dat is leuk voor hen, maar betekent wel dat het filmpje geen valide operationalisatie is van 'verdriet', oftewel, ons design is ook niet valide. Je moet dus inderdaad altijd ook naar de gemiddelden kijken.
Nu zie je ook waarom ik het neutrale filmpje heb geintroduceerd; als je twee 'actieve' manipulaties vergelijkt (oftewel, twee operationalisaties die elk zijn ontworpen om een psychologisch construct te beinvloedden, maar waarvan je nog niet precies weet wat ze allemaal wel en niet beinvloeden), dan kun je geen conclusies trekken over de validiteit van die operationalisaties. Oftewel, je kunt geen manipulatiecheck uitvoeren.
Nu, stel je voor dat onze manipulatiechecks uitwijzen dat beide filmpjes valide operationalisaties zijn van de betreffende constructen. Dan zijn we er nog niet. Want, het kan zijn dat de filmpjes niet alleen het 'doel-construct' (dus verdriet en blijdschap) beinvloeden, maar ook andere psychologische variabelen. Dat is een probleem; als we bijvoorbeeld het verdrietige filmpje zouden gebruiken, en deelnemers worden daar niet alleen verdrietig van, maar er vinden ook andere veranderingen plaats, dan kunnen we niet meer zeggen of een verschil op een andere variabele wordt veroorzaakt door de verandering in verdriet, of door iets anders. Onze operationalisaties moeten dus niet alleen succesvol het doelconstruct beinvloeden, maar mogen ook geen andere constructen beinvloeden: dat zouden dan confounders worden.
Daarom kijken we naar cross-over effecten. Dat zijn de laatste twee analyses. Als het goed is, zijn deze niet significant. Als deze wel significant zijn, dan betekent dat immers dat mensen van ons verdrietige filmpje ook blij worden; en van ons blije filmpje, verdrietig.
(In dit specifieke geval, omdat het conflicterende emoties zijn, is die kans natuurlijk niet groot. Maar in de praktijk zijn dergelijke cross-over effecten vaak wel plausibel.)
Dit betreft je tweede vraag. Cross-over effecten zijn effecten van een manipulatie op een andere onafhankelijke variabele die niet beinvloedt had moeten worden door die manipulatie.
Door manipulatiechecks uit te voeren en naar cross-over effecten te kijken kun je een paar van de checks uitvoeren die je nodig hebt om de validiteit van je design, specifiek met betrekking tot de operationalisatie van je onafhankelijke variabelen, te verifieren.
Natuurlijk is het mogelijk dat je operationalisaties congruente effecten hebben op de doelconstructen (dus, ze inderdaad beinvloeden, en in de gewenste richting), en geen enkel effect op de andere constructen (dus, geen cross-over effecten), maar dat ze toch nog andere variabelen beinvloeden en daarmee je design confounden. Dit kun je alleen controleren als je weet waar je op moet letten.
Om die reden gebruik je, als je het kunt voorkomen, geen manipulaties zonder die eerst grondig te onderzoeken.
Nog een voetnoot. Het is belangrijk om je te realiseren dat als een verband niet significant is, dat geen evidentie is dat het verband niet bestaat in de populatie ('absence of evidence is not evidence of absence'). De test op cross-over effecten zoals ik hem hierboven beschreef is dus eigenlijk fout. De toets die je eigenlijk nodig hebt, een 'nonequivalence test', wordt nog niet besproken in het curriculum, en ik zal hier dus niet verder op ingaan (je hoeft dit dus ook niet te kennen voor de toets).
