Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Op welke manier moet je bij de Manipulatiechecks de cross over effecten meten?

0 leuk 0 niet-leuks

Geachte medewerker,

Momenteel ben ik bezig met mijn verslag te schrijven horende bij de cursus psychologisch experiment. Ik zit echter verveeld met de cross over effecten bij de manipulatiechecks. In het digitaal werkboek staat er dat we moeten nagaan of er cross over effecten zijn, namelijk of de personen in de strenge-sanctieconditie de situatie inderdaad als net zo rechtvaardig interpreteren als de personen in de milde sanctieconditie. Hierbij worden de gemiddelden vergeleken van de personen in de strenge conditie en van deze in de milde conditie voor de 2 soorten procedures, namelijk de onrechtvaardige + de rechtvaardige samen en dan gedeeld door 2. Hetzelfde gebeurt voor personen in de rechtvaardige ne onrechtvaardige procedure.
Het antwoord moet dan bij de manipulatiechecks vermeld staan. Naar aanleiding van de resultaten bedacht ik mij of je  niet beter kunt nagaan of de personen in de strenge en rechtvaardige conditie de sanctie even streng vinden als deze in de strenge en onrechtvaardige conditie (en ook voor de 3 andere mogelijkheden. nl de milde even mild vinden in de rechtvaardige en onrechtvaardige conditie, de rechtvaardige conditie even rechtvaardig vinden voor zowel een strenge als een milde sanctie en tot slot de onrechtvaardige conditie even onrechtvaardig vinden voor zowel de strenge als de milde sanctieconditie).
Bovenstaande worden 2 methodes beschreven die tot verschillende resultaten kunnen leiden. De eerste gaat uit van gemiddelden en de 2de methode niet. Het probleem met de 2 methodes zal ik duidelijk maken met een getallen voorbeeld. (4+12)/2 geeft hetzelfde gemiddelde als (10+6)/2 maar toch is er een groot verschil tussen 4 en 10 en 12 en 6. Dit is wat je met die 2 methodes apart ook vergelijkt, het ene vergelijkt gemiddelden de ander de termen apart. Als je gemiddelden vergelijkt kun je dus komen tot een resultaat waarbij er geen sprake is van cross over effecten terwijl als je ze dan apart vergelijkt er wel cross effecten zijn. Welke methode moet je hier dan volgen? In het tekstboek heeft men het nooit over manipulatiechecks en de gevolgen voor het onderzoek, daar is alles heel simpel omdat men gewoon de methodes wilt uitleggen mbv Spss. De kloof tussen verslag en tekstboek is dan ook groot. Mijn inziens is dit toch een heel belangrijke vraag want als er cross over effecten zijn dan heeft je onderzoek toch heel weinig waarde, je 2 onafhankelijke variabelen zijn dan niet meer onafhankelijk van elkaar manipuleerbaar en de heel daarrond gebouwde theorie valt dan moeilijk te controleren. Ik hoop dat u me hiermee kunt helpen. Alvast bedankt op voorhand.

Mvg
Jochen

gevraagd 29 december 2013 in Kwantitatieve Data Analyse (KDA) door Jochen (120 punten)
bewerkt 8 februari 2014 door Jochen

1 Antwoord

1 leuk 0 niet-leuks

Als ik het goed begrijp heb je het hier eigenlijk over interactie (interactie, de statistische term voor de analyse waarmee je moderatie onderzoekt, betreft de situatie waarin het effect van de ene variabele afhankelijke is van het niveau van de andere variabele; dus het effect van A op B verschilt afhankelijk van de waarde van C).

De check op cross-over effecten zoals deze wordt beschreven in het digitale werkboek veronderstelt dat eventuele cross-over effecten 'main effects' (hoofdeffecten) zijn. Dit betekent dat er geen sprake is van interactie/moderatie; een eventueel effect van de sanctie-manipulatie op rechtvaardigheid is onafhankelijk van het niveau van rechtvaardigheid. Omdat wordt veronderstelt dat het niveau van rechtvaardigheid (dus, de rechtvaardigheids-manipulatie) irrelevant is, kun je dit negeren, en dus die twee condities middelen. Op die manier houdt je twee gemiddelden over; de gemiddelde waargenomen rechtvaardigheden in de beide niveau's van sanctie. Vice versa voor een eventueel cross-over effect van de rechtvaardigheids-manipulatie op waargenomen sanctie, natuurlijk.

In jouw voorbeeld veronderstel je dat er een interactie kan zijn; dat een cross-over effect van de sanctie-manipulatie afhankelijk kan zijn van de waarde van rechtvaardigheid (dus, van de rechtvaardigheids-conditie). Dit zou het geval zijn als er bijvoorbeeld alleen een cross-over effect is van de sanctie-manipulatie op waargenomen rechtvaardigheid in de conditie waar de rechtvaardigheids-manipulatie de waarde 'onrechtvaardig' heeft. In dat geval zou je naar de zgn. 'simple effects' (simpele effecten) moeten kijken.

Om dit te illustreren schets ik hieronder een aantal mogelijke situaties. In deze tabellen staan de gemiddelden voor waargenomen rechtvaardigheid (we kijken in deze voorbeelden dus naar eventueel cross-over effecten van de sanctie-manipulatie). De eerste is zonder cross-over effecten.

             rechtvaardigheid
             laag  hoog
sanctie laag   10    20
        hoog   10    20

Zoals je ziet is er alleen een effect (van +10) van de rechtvaardigheids-manipulatie op waargenomen rechtvaardigheid. In deze situatie is middeling over de rechtvaardigheids-condities gerechtvaardigd. Laten we nu een cross-over effect van sanctie introductieren; een main effect, dus nog zonder interactie:

             rechtvaardigheid
             laag  hoog
sanctie laag   10    20
        hoog   15    25

Er is hier een cross-over effect van +5 van de sanctie-manipulatie: als er een hoge (zware) sanctie is, nemen mensen deze om de een of andere reden waar als rechtvaardiger. Omdat het alleen een hoofd-effect is (even groot, ongeacht het niveau van rechtvaardigheid), is ook hier middeling over de rechtvaardigheids-condities gerechtvaardigd. Nu de meest complexe situatie: een interactie tussen cross-over effect (van sanctie) en de 'andere manipulatie' (rechtvaardigheid dus):

             rechtvaardigheid
             laag  hoog
sanctie laag   10    20
        hoog   10    25

Hier komt het cross-over effect alleen voor als de rechtvaardigheidsmanipulatie de waarde 'hoog' heeft. Dit zou het interactie-effect zijn waarover jouw vraag ging (als ik je vraag goed begreep, en dat hoop ik wel, anders was dit een hoop getype voor niets :-)). Het probleem van deze situatie is, dat je nu niet kunt zeggen of het hogere gemiddelde (25) komt omdat 1) er een cross-over effect is van sanctie, maar alleen onder hoge rechtvaardigheid, of omdat 2) het effect van rechtvaardigheid sterker is onder een hoge (zware) sanctie. De eerste situatie impliceert een cross-over effect, en dus eigenlijk een 'flawed design'. De tweede situatie impliceert dat het effect van rechtvaardigheid wordt gemodereert door sanctie. Je kunt alleen niet scheiden wat er nu eigenlijk gebeurt.

Om deze reden (en omdat dit eigenlijk gewoon erg abstract en ingewikkeld is :-)) wordt hier in het curriculum niet dieper op ingegaan. Ik hoop dat het voor jou nu wel duidelijk is geworden; zonee, stel gerust weer een vraag door een 'opmerking' toe te voegen!

beantwoord 6 januari 2014 door gjp (64,700 punten)

Geachte medewerker,

Hartelijk dank voor uw uiteenzetting, ik ga hier met 2 vragen even op verder bouwen.

Ten eerste even een vraag of bovenstaande zin wel klopt met name de 25 die tussen haakjes staat, moet dat niet 2,5 zijn, het verschil tussen de 2 gemiddelden nl. 17.5 -15 = 2.5 ? Dan klopt de uitleg wel.

Het probleem van deze situatie is, dat je nu niet kunt zeggen of het hogere gemiddelde (25) komt omdat 1) er een cross-over effect is van sanctie, maar alleen onder hoge rechtvaardigheid, of omdat 2) het effect van rechtvaardigheid sterker is onder een hoge (zware) sanctie.

Ten 2de: 

In het geval van de het laatste voorbeeld:

                      rechtvaardigheid
                           laag  hoog
sanctie laag        10    20
            hoog        10    25

Je kunt dan niet scheiden wat er eigenlijk gebeurt. Als je nu deze resultaten ziet staan in het onderzoek, moet je dan niet nagaan met een onafhankelijke T-toets of er een effect is van sanctiezwaarte op het gevoel van rechtvaardigheid in de hoog rechtvaardige procedure: dus nagaan of de 20 en 25 significant verschillen en als dat zo is tot de conclusie komen dat er een cross over effect is en sprake is van een flawed design. Uiteindelijk kun je hier hetzelfde nagaan voor de laag rechtvaatvaardige procedure en vervolgens ook voor het effect van de rechtvaardige procedures op de beoordeling van de strengheid van de straf in de 2 strafprocedures. Zodoende heb je 4 T-testen en kun je alles apart met elkaar vergelijken. Dit geeft een veel betere weergave van cross over effecten dan de gemiddelden te nemen en zou ook veel beter de resultaten van uw onderzoek kunnen verklaren. Aangezien ze veel zeggen over hoe de mensen uw manipulaties ervaren, kun je dan tot de conclusie komen dat het onderzoek niet meet wat het moet meten, uw interne validiteit is zoek. Zo bekijk ik het toch,na goed nagedacht te hebben over de resultaten van het onderzoek. Met nog een extreem voorbeeld kun je zelfs tot de conclusie komen dat er geen cross over effect is op basis van hoofd effecten maar ze zijn er toch door interactie: 

                rechtvaardigheid
                      laag  hoog
sanctie laag   10    20

             hoog  20    10

In dit geval is het toch best dat je naar de simpele effecten gaat kijken?

 

 

Mvg

Jochen

Als de 20 en de 25 significant verschillen, weet je niet of dit komt door interactie (i.e. het effect van rechtvaardigheid is sterker als de sanctie hoog is) of door een cross-over effect.

T-toetsen kunnen geen oplossing bieden, omdat je design het onmogelijk maakt om te bepalen of iets een cross-over effect is, of een interactie. Je hebt immers maar 4 cellen en 4 gemiddelden. De hoofdeffecten uiten zich in systematische patronen in die gemiddelden; twee gemiddelden zijn steeds lager dan twee andere gemiddelden. Interactie uit zich door een afwijking in 1 gemiddelde. Het probleem is dat een cross-over effect zich ook uit door een afwijking in 1 gemiddelde. Als er 1 afwijkend gemiddelde is, kan dit dus betekenen dat er een interactie is, maar het kan ook betekenen dat er een cross-over effect is.

Toetsen (e.g. t-toetsen) kunnen je vertellen welke gemiddelde significant afwijken, maar niet wat dit betekent . . . En er zijn twee mogelijke interpretaties: cross-over of interactie.

Als dit nog niet helder is, stel ik voor dat je dit tijdens een 'real life' sessie navraagt, want ik denk dat we zo'n beetje bij de grenzen van getypte tekst zijn aanbeland :-)

Hartelijk dank voor de uitleg,

Het jammere aan het voorbeeld is dat je ziet dat het eigenlijk gaat om een cross over effect door interactie en niet om een cross over effect door het effect van een hoge sanctie op rechtvaardigheid in zowel de lage als hoge rechtvaardighedisprocedure. Is dit dan niet na te gaan door het vergelijken van de gemiddelden? 10 met 10 en 10 met 20 en 10 met 25 en 20 met 25? Dus 4 toetsen onderling ? Je krijgt dan wel het probleem van kanskapitalisatie. Zie ik dit ook verkeerd? 

                      rechtvaardigheid
                           laag  hoog
sanctie laag        10    20
            hoog        10    25

 

Mvg Coenen Jochen 

Wel, in een 2X2 design zoals hier zijn er maar 3 mogelijke patronen te onderscheiden. Het eerste is de aan- dan wel afwezigheid van een hoofdeffect van de ene factor; het tweede is de aan- dan wel afwezigheid van een hoofdeffect van de andere factor; en de derde is de aan- dan wel afwezigheid van een interactie. Vier t-toetsen kunnen je samen vertellen welk van deze 3 patronen aan- of afwezig is; een Anova kan dat ook.

Als de variabele waarvan we de gemiddelden in de tabel zien de ervaren rechtvaardigheid is, zou een hoofdeffect van rechtvaardigheid een geslaagde manipulatie betekenen; en een hoofdeffect van sanctie zou een cross-over effect betekenen.

Een interactie kan twee oorzaken hebben. Ofwel de rechtvaardigheids-manipulatie heeft alleen effect als sanctie een bepaald niveau heeft (dus alleen voor een hoge, of juist lage, sanctie); ofwel sanctie heeft een cross-over effect, maar alleen als de rechtvaardigheids-manipulatie een bepaald niveau heeft (dus alleen voor een hoge, of juist lage, rechtvaardigheid). Echter, die twee kun je niet scheiden. Je hebt maar vier gemiddelden; en uit die verschillen kun je zien of er een interactie is, maar niet waar die door komt . . . Dat is een design-kwestie.

Wat statistiek je kan vertellen is altijd beperkt door je design, en dit is daar een goed voorbeeld van. Zoals Ronald Fisher, een van de grondleggers van onze statistiek, ooit zei: "To consult the statistician after an experiment is finished is often merely to ask him to conduct a post mortem examination. He can perhaps say what the experiment died of."

Hallo,

Ik ben momenteel ook bezig met de manipulatiechecks en het wel of niet hebben van een cross over effect. Ik merk dat het verschil tussen een interactie effect en een cross over effect mij ondanks het vele lezen erover nog steeds niet helemaal duidelijk is.

Betekent dit dat als je bijv de vraag over de ervaren sanctiezwaarte bekijkt, het hoofdeffect van rechtvaardigheid significant moet zijn om een cross over effect te hebben? Ik heb wel een significant interactie effect, maar niet beide variabelen zijn significant voor het hoofdeffect ( alleen het hoofdeffect van de sanctiezwaarte is significant)

Respondenten binnen de milde, rechtvaardige groep ervaren de gevolgen van een overtreding als minder zwaar dan de respondenten binnen de milde, onrechtvaardige groep. Respondenten binnen de strenge, rechtvaardige groep ervaren de gevolgen van een overtreding zwaarder dan de respondenten binnen de strenge, onrechtvaardige groep.

Of spreek je dan weer over een interactie effect?

 

Ik hoop dat mijn vragen duidelijk zijn en u mij verder kunt helpen!

 

Groetjes, Josine

 

Een interactie-effect betreft conditionele verbanden: dus als het verband tussen de rechtvaardigheids-manipulatie en privegebruik van bedrijfsmiddelen afhankelijke is van het niveau van de sanctiezwaarte-manipulatie. Interactie is meestal de manier waarop een moderatie-effect zich manifesteert in een analyse. Hoe dan ook is een interactie simpelweg een naam voor de manier waarop drie variabelen met elkaar kunnen samenhangen.

Een cross-over effect betreft de validiteit van je design. In een valide design zijn je manipulaties 'orthogonaal': onafhankelijk van elkaar. Op die manier kun je zuiver de effecten van elke manipulatie schatten. Dat betekent dat je manipulaties alleen een effect mogen hebben op hun eigen manipulatiecheck, en dus niet op de manipulatiechecks van andere manipulaties. Als je rechtvaardigheid manipuleert, mag de rechtvaardigheids-manipulatie dus niet samenhangen met de manipulatiecheck van sanctiezwaarte. Als die samenhang er wel is, is dat een cross-over effect: het effect van rechtvaardigheids-manipulatie 'crossed over' naar andere condities, in dit geval sanctiezwaarte. Dat tast de validiteit van je design aan; concreet weet je niet meer precies door welke manipulatie eventuele effecten op de afhankelijke variabelen komen.

Dieper dan dit kan ik er niet op deze examenopdracht ingaan.

...