Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Cross-over effecten en incongruente effecten: hetzelfde of toch niet?

0 leuk 0 niet-leuks
Na dit antwoord te hebben gelezen (en nog veel meer hier overover), snap ik er helemaal niets meer van. In de tentamenstof op Youlearn (2.2 Manipulatiechecks) staat: “Als in een van de t-toetsen de verkeerde groep (incongruent) significant hoger is, bijvoorbeeld conditie grappige film heeft een significant lagere ervaren grappigheid dan de verdrietige-filmconditie, dan is er een incongruent effect, dus een cross-overeffect.”

Maar hier op onderzoeksvragen staat: “Een cross-over effect betekent dat de experimentele manipulatie een effect heeft op een andere variabele dan bedoeld. Dit betekent dat er dan meerdere variabelen (en eigenlijk ook meerdere manipulaties) moeten zijn die als manipulatiecheck fungeren. Als er slechts 1 variabele is, dan is er eigenlijk alleen de vraag te beantwoorden of een manipulatie geslaagd is ja/nee. Als de manipulatie zelfs het 'omgekeerde' effect heeft is dit nog niet een cross-over. Het is dan 'gewoon' een niet-geslaagde manipulatie (of een die averechts heeft gewerkt).”

Kunt u me uitleggen wat ik over het hoofd zie, want ik heb het idee dat deze twee dingen elkaar tegenspreken als het gaat over of je nu wel of niet kunt spreken van een cross-over effect.

Als de manipulatie is dat je mensen een verdrietige of grappige film laat zien, en de manipulatiecheck laat zien dat de ervaren grappigheid in de verdrietige-film-conditie significant hoger was dan in de grappige-film-conditie, is er dan wel of niet sprake van cross-over effect?
gerelateerd aan een antwoord op: Cross over effect kleding in tentamencasus
gevraagd 9 april 2018 in Experimenteel Onderzoek (PB0402 en S05281) door Aline G (280 punten)

1 Antwoord

0 leuk 0 niet-leuks
 
Beste antwoord

Dit staat inderdaad niet goed op YouLearn. Tenminste - het is te ambigu.

Je kunt het alleen zinnig over cross-over effecten hebben in de context van twee manipulaties tegelijk. Een cross-over effect is een symptoom van een niet-valide operationalisatie: je manipulatie beinvloedt niet (alleen) het construct dat het moet beinvloedden, maar (ook) een ander construct.

Om verdere verwarring te voorkomen zal ik alles nog even op een rijtje zetten.

Constructen zijn theoretische variabelen. Ze hebben een naam en een definitie. Die definitie maakt het mogelijk om operationalisaties voor ze te ontwikkelen. Constructen zijn theoretisch, en bestaan dus niet echt/zijn niet tastbaar. Het zijn wetenschappelijke concepten: hulpmiddelen om de wereld te begrijpen en er over te kunnen praten. IQ, of leervaardigheid, of extraversie, bijvoorbeeld, zijn geen woorden voor hersengebieden ofzo; het zijn door mensen bedachte concepten, die door hun definties niettemin meting mogelijk maken, en ons in staat stelt om dingen te voorspellen. Al die zinvolle dingen die we met IQ, leervaardigheid, of extraversie kunnen vereist niet dat IQ, leervaardigheid of extraversie echt als zodanig bestaan: het zijn wetenschappelijke, theoretische concepten (constructen).

Operationalisaties bestaan wel echt, en vormen de link tussen de 'echte wereld' en constructen. Operationalisaties kunnen (met veel moeite) aan de hand van de definities van de constructen worden ontwikkeld. Er zijn twee typen operationalisaties: meetinstrumenten en manipulaties.

Manipulaties bestaan bij stimuli en/of procedures die zijn ontworpen of geselecteerd om een specifiek construct te veranderen. Een manipulatie kan bijvoorbeeld een filmpje zijn dat is gekozen omdat het mensen verdrietig maakt.

Meetinstrumenten bestaan uit stimuli en/of procedures plus een registratie van een respons, en zijn juist ontwikkeld om een specifiek construct te meten (zonder het te veranderen, idealiter). Een meetinstrument is bijvoorbeeld een vraag (stimulus) met een antwoordschaal (respons registratie) om te meten hoe verdrietig iemand zich voelt.

Validiteit is de eigenschap dat een operationalisatie het construct, waarvoor het is ontwikkeld, manipuleert of meet, en ook alleen dat construct manipuleert of meet. Dus, een meetinstrument om verdietigheid te meten, moet geen verschillen meten tussen mensen die even verdrietig zijn, maar verschillen in boodheid, of melancholie, of optimisme, of extraversie. En een manipulatie om het verdriet van mensen te verhogen moet niet leiden tot een verhoging van boosheid, melancholie, of optimisme, of extraversie. Als een operationalisatie niet valide is (i.e. niet uitsluitend het doel-construct meet/beinvloedt), betekent dat dat het design (de opzet) van studies waar die operationalisatie in zit, niet valide is. Als onderzoeker kun je dan je onderzoeksvragen/hypothesen niet langer beantwoorden. Stel je bijvoorbeeld voor dat je een operationalisatie hebt ontwikkeld om verdriet te verhogen (een manipulatie dus), omdat je wil weten of verdriet causaal samenhangt met lagere zelfcontrole. Als die operationalisatie dan niet voldoende valide is, omdat hij bijvoorbeeld niet alleen verdriet beinvloedt, maar ook boosheid, of ook moeheid, dan kun je je onderzoeksvraag niet langer beantwoorden. Zelfs als je dan een verband vindt van enerzijds toepassing van je manipulatie met anderzijds zelfcontrole, dan betekent dat nog niet dat er een verband is tussen verdriet en zelfcontrole. Want omdat je operationalisatie niet valide is, kan het verband dat je vind met zo goed een verband zijn tussen boosheid en zelfcontrole, of moeheid en zelfcontrole. Als je zou concluderen dat verdriet inderdaad tot lagere zelfcontrole leidt, zou je dus een fout maken.

Betrouwbaarheid is de mate waarin je operationalisatie vatbaar is voor ruis. Hoe meer ruis, hoe minder je aan een operationalisatie hebt: Als een manipulatie soms een groot effect heeft op verdriet, en soms een klein effect, moet je meer deelnemers hebben om er vanuit te kunnen gaan dat je gemiddeld genomen je gewenste effect op verdriet hebt. En bij meetinstrumenten geldt hetzelfde: als er veel meetfout is, heb je meer mensen nodig om een daadwerkelijk verschil tussen gemiddelden te detecteren.

Manipulatiechecks zijn verificaties van de validiteit van je manipulatie. Normaal gesproken voer je uitgebreid onderzoek uit naar je manipulaties voordat je je hoofdstudie uitvoert, zodat je zeker weet dat je manipulaties het doelconstruct beinvloeden, maar geen andere constructen beinvloeden.

Cross-over effecten zijn causale verbanden van je manipulatie op andere constructen dan je doelconstruct. Als er cross-over constructen zijn, is de design (studie-opzet) niet valide meer. Hier zijn twee redenen voor. Ten eerste zul je niet meer zuiver kunnen kijken naar het effect van je manipulatie op je doelconstruct: vanwege de samenhang met het 'verkeerde beinvloedde construct' is deze analyse vervuilt. Je verliest de controle die je normaal wint in een experimenteel design: je design wordt quasi-experimenteel, omdat 'het verkeerde construct' nu soms wel is beinvloedt, en soms niet; waarom/wanneer dat wel of niet gebeurde is afhankelijk van factoren die je niet onder controle hebt. Je hebt dus geen zuiver experimenteel design meer. De tweede reden is dat je een sterke aanwijzing hebt dat je manipulatie niet valide is; hij beinvloedt duidelijk minimaal een ander construct, terwijl dat uitdrukkelijk niet de bedoeling was. Kennelijk klopten je aannames over de validiteit van je operationalisatie niet. Dus wie zegt dat er niet ook nog allerlei andere constructen worden beinvloedt?

Met de term 'congruent effect' ben ik niet zo bekend; ik zal een collega vragen daar nog even een definitie van te geven, zodat het rijtje compleet is.

beantwoord 10 april 2018 door gjp (69,620 punten)
geselecteerd 12 april 2018 door Aline G
Bedankt voor deze uitgebreide reactie! Hier kan ik mee verder. Ik hoop nog te horen hoe het zit met de (in)congruente effecten.
...