Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks
Beste Gjalt-Jorn,
 
Zoals afgesproken hierbij mijn vraag op OUPSY.
Ik heb een korte (en voor u) simpele vraag omtrent het uitvoeren van een manipulatiecheck. 
 
Ik heb een 2x2 design, dus met 2 condities met elk 2 niveaus. Nu wil ik uiteraard weten of de manipulaties hebben gewerkt. In de vragenlijst zijn 2 vragen opgenomen die deze check mogelijk maken. Nu is mijn vraag: moet ik hiervoor een eenweg-Anova gebruiken of volstaat een onafhankelijke t-toets?
 
Mijn idee is dat een onafhankelijke t-toets volstaat omdat het antwoord op de controlevragen van intervalniveau zijn en omdat het in dit geval niet om meer dan 2 variabelen gaat, namelijk de twee controlevragen.... Echter, als ik vervolgens op cross-over effecten check gebruik ik weer wel een eenweg-ANOVA, toch?
 
Overigens, de uitkomsten bij de onafhankelijke t-toets als bij de eenweg-Anova geven dezelfde resultaten.
 
Thanks alvast voor je antwoord, waardeer ik zeer!
in Inleiding Onderzoek (OIO, PB02x2; was Inleiding Data Analyse, IDA) door (530 punten)

1 Antwoord

1 leuk 0 niet-leuks

Volgens mij worden bij KDA helemaal geen 2x2 anova's besproken :-)

Maar, in het algemeen geldt: het maakt niet uit welke toets je gebruikt. De stelregel is doorgaans dat je de simpelste toets moet gebruiken die je kunt (dit omdat de meeste lezers er al mee bekend zullen zijn, en het in lijn is met Occam's razor). In jouw geval geldt in principe het volgende.

Ik weet niet wat voor manipulaties je in je studie hebt, dus ik noem de ene even  'straf' en de andere 'beloning.

Als je alleen wil weten of je een cross-over hoofdeffect hebt, dus bijvoorbeeld een effect van de ene manipulatie (straf) op de verkeerde variabele (ervaren beloning), voer je t-toetsen uit. Je voert dan een tweede t-toets uit om te kijken of beloning geen effect heeft op ervaren straf. Als beiden t-toetsen niet significant zijn, heb je geen cross-over effecten.

Als je design orthogonaal is (evenveel deelnemers in elke cel van je design, en dus geen samenhang tussen je twee manipulaties) kun je ook twee anova's uitvoeren, met steeds beide manipulaties als factoren en in elke anova een van de twee manipulatiechecks als afhankelijke variabele. In dat geval komt je toets op hetzelfde neer als de t-toetsen. Omdat je maar 2 niveau's van elke manipulatie hebt win je ook geen power; in beide gevallen bereken je 2 p-waarden per anova.

In die anova kun je dan ook een interactie-term tussen je manipulaties opnemen. Als die significant is, betekent dat dus dat het effect van de ene manipulatie afhankelijk is van het niveau van de andere manipulatie. In dat geval heb je 'crossover moderatie'. Bijvoorbeeld, het effect van straf op ervaren straf is dan anders voor mensen die geen beloning krijgen dan voor mensen die wel een beloning krijgen.

Of je nu een cross-over hoofdeffect of een cross-over interactie hebt, in beide gevallen wordt je interne validiteit bedreigd. Hoe erg dat is hangt af van de effect size. Hier ga ik in meer detail op in in de post hier: http://oupsy.nl/help/1206/nogmaals-cross-effecten-manipulatie-checks-eindopdracht. Zie eventueel http://oupsy.nl/help/415/welke-manier-manipulatiechecks-cross-over-effecten-meten voor meer achtergrond informatie.

Oh, en zie nu nog iets in je vraag: een eenweg anova is, als je factor 2 niveau's heeft volkomen equivalent aan een onafhankelijke t-toets. Er is geen verschil. Gegeven dat je altijd de makkelijkste toets moet doen die je kunt, kies je in dat geval bijna altijd voor een t-toets. Je doet normaliter alleen variantieanalyse als je meerdere voorspellers, een covariaat, of een voorspeller met meer dan 2 niveau's hebt.

door (77.8k punten)
Hoi Gjalt-Jorn,

Hartelijk dank voor je snelle antwoord. Het is me (gelukkig) weer wat duidelijker geworden.

Als ik je dus goed begrijp moet ik voor zowel mijn manipulatiechecks als cross-over effecten t-toetsen gebruiken. Mijn design is namelijk niet orthogonaal (in elke cel verschillend aantal deelnemers).

Als achtergrondinformatie: ik heb een covariantieanalyse uitgevoerd waarin de interactie significant is.
Wel, als er cross-over interactie kan zijn, zou ik een anova doen om die uit te sluiten. Dan weet je zeker dat je interne validiteit gewaarborgd is. Als je cross-over interacties al kunt uitsluiten op basis van theorie, volstaat inderdaad een t-toets.
Hoi Gjalt-Jorn,

Hartelijk dank voor de uitleg. Het is mij nu duidelijk hoe ik de cross-over effecten moet uitvoeren en interpreteren.

Sorry, toch nog een kleine vraag als toevoeging. Ik vroeg me af: als ik de manipulatiechecks uitvoer moeten de varianties van de groepen dan ook verschillend zijn, zodat de 0 hypothese verworpen dient te worden. Ik meen mij namelijk te herinneren dat een voorwaarde voor het uitvoeren van een Anova of t-test is dat Levene's test significant moet zijn, maar geldt dat ook voor een manipulatiecheck?

Anova gebruikt de variantie in elke groep om de meetfout-variantie te schatten. Maar, de variantie binnen elke groep is alleen een goede schatting ('maat') voor de meetfout-variantie als die variantie in elke groep ongeveer gelijk is. Daarom is een aanname van anova dat de variantie in elke groep ongeveer gelijk is. Levene's test toetst dit; maar als hij significant is, verschillen de varianties juist. Hij moet dus juist niet significant zijn! Een probleem van Levene's test is overigens dat hij vaak te weinig power heeft met kleine steekproeven (en dus verschillen in variantie niet kan detecteren), en zelfs triviale verschillen in variantie als significant beschouwt als je steekproef juist wat groter is . . . Oplossingen hiervoor zijn de F-waarden handmatig uit te rekenen met de kleinste errorvariantie (i.e. de kleinste binnen-groep variantie). Als je F-waarde dan nog steeds significant is, hoef je je geen zorgen te maken. Maar dit gaat wat ver voor uitleg hier, dit kun je eventueel met je begeleider bespreken als je dit 'in het echt' ooit tegenkomt.

Ohhhh....natuurlijk wat stom van me! Had ik kunnen weten.

Dank Gjalt-Jorn, het is me weer duidelijk!
...