Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Nogmaals cross-over effecten bij manipulatie checks eindopdracht

0 leuk 0 niet-leuks
Beste allen,

Ik heb de eerdere berichten tav dit onderwerp bestudeerd, maar ik snap het nog niet. Deze antwoorden handelen vlgs mij over de effecten van de manipulaties zelf. Als ik het artikel bekijk waarnaar verwezen wordt in het digitale werkboek gaat het er om de manipulaties ZELF te checken op effectiviteit. Dus ervaart iemand de zware sanctie ook echt als zware sanctie bijv. Maar wat nu als blijkt dat niet alleen de sanctiezwaarte effect heeft op uitkomst van die vraag, maar ook de rechtvaardigheidsconditie?

Concreet:

Spreek je van een cross over effect als manipulatie X ook een hoofdeffect blijkt te hebben op de manipulatiecheck van manipulatie Y? En wanneer is het dan een interactie effect en wanneer een cross over? Ik kom er maar niet uit.

Anders: je voert in een 2x2 Anova de 2 manipulaties in en 1 vraag die een van beide manipulaties moet checken. Nu blijkt zowel manipulatie A als manipulatie B een hoofdeffect te hebben op die vraag en er ook een interactie effect te zijn. Ik snap dat ik split file kan doen om te kijken in welke conditie de manipulatie welk effect heeft. HOe erg is dit voor je interne validiteit?

Alvast hartelijk dank!

Gr Geraldine
gevraagd 26 maart 2015 in Psychologisch Experiment (PE) door geraldine (120 punten)
bewerkt 26 maart 2015 door geraldine

1 Antwoord

1 leuk 0 niet-leuks
Een cross-over effect is een hoofdeffect van een manipulatie op een onbedoelde variabele. Dat is dus inderdaad als manipulatie X een effect heeft op manipulatiecheck Y.

Een interactie (een van de weinige definities die je uit je hoofd moet leren en slaafs moet herhalen elke keer dat je iets met interactie/moderatie doet) is als het effect van de ene variabele afhankelijke is van het niveau van de andere variabele. Dit betreft dus drie variabelen; stel je bijvoorbeeld voor dat het effect van manipulatie Y op afhankelijke variabele Z verschilt afhankelijk van het niveau van X.

Stel dat X bijvoorbeeld straf is, en Y is beloning, en Z is prestatie. Als het effect van straf dan sterker is als er een beloning wordt gegeven, of het effect van beloning sterker is als er wordt gestraft (wat natuurlijk hetzelfde is), is er sprake van interactie. Als mensen een beloning ervaren als straf, zoals gemeten door de manipulatiecheck van het effect van de straf-manipulatie, is er sprake van een cross-over effect.

Je tweede alinea is niet helemaal duidelijk. Wat is je vraag? Een cross-over effect is funest voor je interne validiteit; je manipulatie verandert dan twee variabelen (of eentje, als hij bovendien niet de variabele beinvloedt die hij in de eerste plaats had moeten beinvloedden). Je moet in je rapportage dus rekening houden met dat je manipulaties deels hetzelfde zijn: je manipuleert niet wat je moet manipuleren (i.e. lage interne validiteit).
beantwoord 26 maart 2015 door gjp (68,400 punten)
Dank voor de snelle reactie!

Al weer stuk duidelijker, maar mss mag ik nog een vraag ter verduidelijking stellen.

Doorgaand op je voorbeeld over beloning en straf:

Stel beloning conditie 0= 1 euro, beloning conditie 1= 100 euro.

Strafconditie 0= buurmans auto wassen, strafconditie 1 = rijbewijs inleveren.

Stel: uit de manip.check van beloning komt dat men de hogere beloning ook sign hoger heeft gewaardeert. Mooi dus, de manip heeft in de juiste richting gewerkt.

Maarrrrrr dan blijkt dat de mate van straf ook nog eens een hoofdeffect, het zij minder, heeft  op de uitkomst van die manip check vraag over beloning. Dus: in de groep autowassers is de uitkomst van de belonginscheckvraag (dus van de sanctie waar hij niets op hoeft te doen) significant hoger dan bij de rijbewijslozen.

Vraag1: is dit cross over? de manipulatie beloning heeft op zich prima gewerkt, alleen blijkt er ook een kleiner hoofdeffect van de sanctie straf die er niets mee te maken heeft.

Vraag 2: in het geval dat de strafmanipulatie geen hoofdeffect, maar alleen een interactie met de uitkomst van de manip check beloning heeft, hebben we dan ook een probleem?

Ik hoop dat het helder is, alvast dank
Ja, dit is cross-over.  De straf-manipulatie manipuleert naast 'ervaren straf' ook 'ervaren beloning'. Een verschil tussen de straf-groepen hoeft dus niet het gevolg te zijn van een verandering in 'ervaren straf' (wat de bedoeling was), maar kan ook het gevolg zijn van een verandering in 'ervaren beloning' (wat niet de bedoeling was). Je manipulatie manipuleert niet wat hij moet manipuleren (uitsluitend ervaren straf), en is dus niet valide. Over het effect van beloning kun je nog wel wat zeggen, tenminste, als de ervaren straf niet wordt beinvloed door de beloning. Het effect van de straf op de ervaren beloning, dat cross-over effect, beinvloedt immers beide condities van de beloning-manipulatie op dezelfde manier. Dat verstoort een eventueel effect van de belonings-manipulatie dus niet.

Maar, en nu komen we bij vraag 2: als er een interactie is met betrekking tot het beloningseffect, is ook de belonings-manipulatie niet meer bruikbaar. Er is dan geen algemeen effect van beloning of van straf; het effect van zowel beloning als straf op de 'ervaren beloning' hangt af van de waarde van de andere variabele (zie de definitie van interactie). Hierdoor wordt je gedwongen om alle vier de cellen van je design als verschillende groepen te zien; er bestaat geen hoofdeffect van beloning en er bestaat geen hoofdeffect van straf. Er zijn alleen de vier unieke combinaties van de twee variabelen, en het feit dat die vier combinaties worden gevormd door steeds twee mogelijke waarden van twee variabelen te combineren, is niet langer relevant. Onder lage straf is er een effect van beloning op 'ervaren beloning'; onder hoge straf is er een ander effect van beloning op 'ervaren beloning'. Onder lage beloning is er een effect van straf op 'ervaren beloning', en onder hoge beloning is er een ander effect van straf op 'ervaren beloning'.

Hierdoor kun je verschillen tussen de vier condities op je afhankelijke variabele ook niet goed meer interpreteren; je weet niet door welke manipulatie die komen. Sterker nog, door welke manipulatie onder welke condities (vanwege de interactie). Een straf kan bijvoorbeeld effect hebben op de afhankelijke variabele, maar niet via 'ervaren straf' maar via 'ervaren beloning', en dan ook nog uitsluitend als de beloning ook nog hoog is. Dat zou een mogelijke verklaring kunnen zijn, maar die kun je niet scheiden van andere mogelijke verklaringen, bijvoorbeeld dat straf een effect heeft via ervaren straf, wat alleen onder lage beloning wordt verminderd door het effect dat die lage beloning heeft via ervaren beloning in combinatie met het effect dat straf dan (onder lage beloning) via ervaren beloning heeft. Het wordt al snel ingewikkeld als je manipulaties van alles beinvloedden dat ze niet beinvloeden. Kort samengevat zijn de rapen gaar.

Dit is misschien een van de redenen dat cross-over checks zelden worden gerapporteerd in de literatuur: omdat ze je dataset op losse schroeven kunnen zetten, en reviewers er meestal niet om vragen, denk ik dat de meeste mensen ze veiligheidshalve liever niet uitvoeren. Niet netjes natuurlijk; en dat is waarom we jullie in ons onderwijs leren om het consequent wel te doen.

Dus ik hoop dat je nergens significante cross-over hoofdeffecten of interacties hebt :-)

Nog een laatste belangrijke toevoeging. Bij een voldoende grote steekproef is alles significant. Significante is dus eigenlijk irrelevant; waar het om gaat is hoe sterk een verband is. Als je belonings-manipulatie een vrij sterk effect heeft op ervaren beloning (bijvoorbeeld een betrouwbaarheidsinterval voor Cohen's d van .73 tot .94) en straf een triviaal, maar ook significant, effect heeft op ervaren beloning (bijvoorbeeld een betrouwbaarheidsinterval voor Cohen's d van .06 tot .17), dan valt de schade natuurlijk mee. Het effect van straf op ervaren beloning is dan verwaarloosbaar klein, zelfs als het significant is.
Best Gjalt-Jorn,

Hartelijk dank weer voor je snelle antwoord.

Het is me helder dat als er dus een cross over effect en/of interactie effect in de manipulatie checks zitten de rapen gaar zijn;)!

In de leerstof staat zover ik weet nergens uitgelegd wat je dan vervolgens moet doen met een dergelijke bevinding. De manipulatie checks komen voor het eerst in de eindopdracht voor. Vandaar de vraag:

Wat te doen bij een gevonden interactie EN cross over effect?

Zou je daarom willen uitleggen hoe ik die Cohen's kan berekenen. Vervolgens moet ik alsik het goed begrijp weten of de steekproef groot genoeg is om te beoordelen hoe ernstig een interactie dan wel cross over effect is. Zodat ik dan kan bepalen of ik nog wat zinnigs kan zeggen over de uitkomsten of dat we moeten concluderen dat er niets betrouwbaars te concluderen valt uit manipulaties met cross over effecten en interactie effecten.

alvast weer hartelijk dank!

Wel, de eerste stap (die je eigenlijk altijd zou moeten ondernemen natuurlijk :-)) is de effect sizes te berekenen. In jouw geval, omdat er interactie is, moet dat apart per groep, dus in jouw voorbeeld moet je het effect van straf op waargenomen beloning apart berekenen voor de mensen die een lage beloning kregen en de mensen die een hoge beloning kregen.

(even tussendoor: als je de hoogte van de beloning zou negeren, en dus het hoofdeffect van straf op ervaren beloning zou meten, zou je in veel gevallen ook een effect vinden: het gemiddelde van de effecten onder lage en onder hoge beloning. Echter, dat effect bestaat nooit; er bestaan immers alleen het effect van straf op beloning onder een lage beloning, en het effect van straf onder een hoge beloning. Beide van deze effecten zijn per definitie anders dan het gemiddelde effect; anders was er immers geen interactie geweest. Als er interactie is, is het berekenen van een hoofdeffect dus in de meeste gevallen zinloos, in sommige gevallen zelfs misleidend, en slechts zelden zinvol.)

Cohen's d berekenen is gelukkig makkelijk:

$$\text{Cohen's }d=\frac{\overline{X_1}-\overline{X_2}}{\sigma}$$

Je hoeft dus alleen maar de standaarddeviatie ($\sigma$) en de twee gemiddelden te vinden. De standaarddeviatie is de standaarddeviatie van je afhankelijke variabele. Vermoedelijk is de variantie in alle vier je groepen grofweg hetzelfde, dus dan kun je gewoon met descriptives (syntax "DESCR variabelenaam.") de standaarddeviatie bestellen van je afhankelijke variabele. Die kun je ook uit je Anova berekenen trouwens, door de totale SS te pakken, te delen door de totale Df (aantal deelnemers - 1), en de wortel van het resultaat te nemen. De gemiddelden van de vier groepen kun je bijvoorbeeld met descriptives bestellen nadat je split file hebt gedaan. Je kunt ook split file doen op de beloningsconditie en dan een t-test doen op de straf-conditie. Dan krijg je ook de descriptives in je vier groepen.

Door die gemiddelden en de standaard deviatie in te vullen kun je dan Cohen's d berekenen.

Als je het echt netjes wil doen, bereken je het betrouwbaarheidsinterval. Daarvoor heb je de standaardfout van Cohen's d nodig, en die is (credits: http://stats.stackexchange.com/questions/8487/how-do-you-calculate-confidence-intervals-for-cohens-d):

$$SE_{\text{Cohen's }d}=\sqrt{\left( \frac{n_1 + n_2}{n_1 n_2} + \frac{d^2}{2(n_1+n_2-2)}\right) \left(\frac{n_1 + n_2}{n_1+n_2-2} \right)}$$

Een hoop invullen, maar op zich niet moeilijk. Veel werk is niet hetzelfde als moeilijk :-)

Door die standaardfout met 1.96 te vermenigvuldigen, en het resultaat af te trekken en op te tellen bij de puntschatting voor Cohen's d, krijg je het betrouwbaarheidsinterval. Dit is een set plausibele waarden voor Cohen's d in de populatie.

Als je dat interval hebt (of, als je dat niet uitrekent, als je je puntschatting hebt) komt het wel moeilijke deel: is dat een verband dat zo sterk is dat je je zorgen moet maken over je validiteit? Dit moet je zelf beslissen op basis van je interpretatie van hoe sterk dit effect is. Ik zou zelf het interval vergelijken met de intervallen voor de andere effecten (e.g. van straf op waargenomen straf, van beloning op waargenomen beloning, en van de manipulaties op de afhankelijke variabele), om een kader te hebben om je effect size van je cross-over effect te interpreteren.

Als je besluit dat dit effect verwaarloosbaar is, benoem je het als zodanig, en beinvloedt het je artikel verder niet echt. Als je besluit dat het cross-over effect niet verwaarsloosbaar is, dan betekent dat dat je validiteit is geschonden. De betreffende manipulatie(s) werken dan niet: dit is vergelijkbaar met een onderzoek naar de gevolgen van dagelijkse paracetamol-inname waarbij je per ongeluk een andere pijnstiller met onbekende samenstelling hebt gebruikt. Je kunt misschien zien dat er iets gebeurt, maar er is niets zinnigs over te zeggen, omdat je geen idee hebt wat er gebeurt. In dit geval is je onderzoek mislukt, hoe jammer dat ook is. In je discussie moet je dan heel diep ingaan op je procedure en de aard van je manipulaties, zodat je zinnige aanbevelingen kunt doen voor volgend onderzoek. Je kunt de rest van je analyses nog draaien, maar dan moet je in je resultaten-sectie en je discussie heel, heel voorzichtig zijn met hoe je dit opschrijft: je mag immers niet suggereren dat een verschil in je afhankelijke variabele komt omdat de waargenomen straf is veranderd, omdat je niet kunt scheiden of een verschil in je afhankelijke variabele via waargenomen straf of via waargenomen beloning liep.

Alvast weer dank

De effect sizes had ik inderdaad al berekend.

Voor beide manipulaties blijkt dan dat in elke conditie het effect de zelfde richting op gaat, alleen sterker. Bijvoorbeeld: in conditie milde beloning is het effect van straf groter dan in de groep grote beloning met een groter gemiddelde score. Wel is het zo dat in beide condities een hogere straf leidt tot beter gedrag, dus ze werken wel in dezelfde richting.

Alsvast een daarbij behorende vraag: het lijkt of deze berekeningen veel verder gaan dan de aangereikte lesstof.....moet het tentamen niet uitsluitend gaan over de aangeboden lesstof?  Daar wordt immers in het geheel niet gesproken over manip checks, laat staan dat er verteld wordt hoe je ze moet interpreteren.

Ik wacht je verdere antwoord weer af, vind het overigens een superservice dit!

Om met je bijbehorende vraag te starten: op deze site worden algemene antwoorden gegeven, die dus niet zijn ingekaderd binnen een bepaalde cursus. De cursussen zijn immers maar een middel om te leren hoe je goed onderzoek doet. Hoe je deze situatie oplost binnen de kaders van deze cursus durf ik niet te zeggen; ik zal de examinator vragen een opmerking toe te voegen waarin hij dat uitlegt.

Als jij zegt "in conditie milde beloning is het effect van straf groter dan in de groep grote beloning met een groter gemiddelde score", dan heb je het over het effect van straf op beloning, toch? De vraag is dan hoe groot die effecten van straf op beloning zijn. Dat antwoord is per definitie een subjectieve inschatting, die je zelf zult moeten maken in je artikel, vrees ik . . .

Dank voor de kaders van dit forum, dat geeft me duidelijkheid tav de opdracht.

De materie is me dankzij jouw input stukken duidelijker en ik zie nu ook de kaders waarbinnen ik een keus kan maken van wat ik wel en niet meeneem i het tentamen aan analyses buiten de leerstof om.

Hartelijk dank voor je service en heldere antwoorden!!!
Hoi Gjalt-Jorn,

Toch nog 1 vraag:

Stel je doet een 2x2 Anova voor een manipulatie check, waarbij je beide manipulaties invoert (zoals boven in ons voorbeeld).

Je vindt van elke manipulatie een hoofdeffect op de uitkomst van de manip check vraag. Je zou zeggen: Cross over! Maar nu blijkt er OOK een interactie effect. Als ik je goed begrepen heb: als er interactie is, zeggen de hoofdeffecten (dus in dit geval ook het cross over effect) niets meer als geheel, maar zeggen alleen de effecten PER conditie nog iets.

Kortom: er is GEEN cross-over effect, maar WEL een interactie effect.

Klopt ie?

In dat geval is er geen cross-over main effect, maar wel simple effects. In minimaal een van de twee condities van de ene manipulatie is er sprake van een effect van de andere manipulatie op de variabele die de eerste manipulatie had moeten beinvloeden. Dus, als je een 2x2 controle op cross-over effecten uitvoert op de manipulatiecheck van 'strafmaat' (dus met als afhankelijke variabele 'ervaren zwaarte van de straf'), en er zijn twee hoofdeffecten en een interactie, dan concludeer je het volgende:

  1. Er zijn geen hoofdeffecten; dat lijkt maar zo, maar het effect van 'beloning' hangt af van het niveau van 'strafmaat', dus er is geen sprake over een algemeen effect van 'beloning' op 'ervaren zwaarte' (en dat is de definitie van een hoofdeffect);
  2. De effecten van 'strafmaat' en 'beloning' hangen af van de waarde van de andere manipulatie;
  3. Afhankelijk van je gemiddelden kan het zijn dat beloning invloed heeft op 'ervaren zwaarte'.

Je moet dus goed kijken naar wat er precies gebeurt, zodat je weet of de interne validiteit van je operationalisaties gehandhaafd blijft.

...