Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Eindopdracht; Verschil in f-waarde hoofdeffect wanneer je een andere toets doet (herhaalde meting of mixed design)?

0 leuk 0 niet-leuks
Ik ben druk bezig met de eindopdracht, maar loop tegen het volgende aan:
Ik twijfelde in eerste instantie of ik per hypothese een toets zou doen en heb mijn hypothese dat type voorlichting invloed heeft op het verschil in vetconsumptie tussen voormeting en nameting zou beïnvloeden met een herhaalde meting getoetst. In onderlinge discussies kwamen we daarna tot de slotsom dat het verstandiger is om één mixed design voor alle drie de hypothesen uit te voeren (dus met vet 1 en vet 2 als afhankelijke variabelen en conditie voorlichting en kleding als onafhankelijke/between subjects factors). Nu meet ik in beide gevallen geen significant verschil t.a.v. de eerste hypothese, hoewel de f-en p-waarden wel verschillen.
Ik keek echter ook naar het hoofdeffect (vetinname verschil vet1-vet2) in de within subjects effects en daar krijg ik bij beide toetsen een andere uitkomst.

Mijn repeated measures is als volgt:

DATASET ACTIVATE DataSet1.
GLM vet1 vet2 BY conditie
  /WSFACTOR=vetinname 2 Polynomial
  /CONTRAST(conditie)=Helmert
  /METHOD=SSTYPE(3)
  /PLOT=PROFILE(conditie*vetinname vetinname*conditie)
  /EMMEANS=TABLES(OVERALL)
  /EMMEANS=TABLES(conditie)
  /EMMEANS=TABLES(vetinname)
  /EMMEANS=TABLES(conditie*vetinname)
  /PRINT=DESCRIPTIVE ETASQ HOMOGENEITY
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=vetinname
  /DESIGN=conditie.

Hieruit krijg ik F(1,1345)=13,77, p<,001.

Als ik vervolgens de mixed design doe:

GLM vet1 vet2 BY conditie kleding
  /WSFACTOR=vetinname 2 Polynomial
  /CONTRAST(conditie)=Helmert
  /CONTRAST(kleding)=Difference
  /METHOD=SSTYPE(3)
  /PLOT=PROFILE(conditie*vetinname vetinname*conditie vetinname*kleding*conditie
    vetinname*conditie*kleding)
  /EMMEANS=TABLES(OVERALL)
  /EMMEANS=TABLES(conditie) COMPARE ADJ(BONFERRONI)
  /EMMEANS=TABLES(vetinname) COMPARE ADJ(BONFERRONI)
  /EMMEANS=TABLES(conditie*vetinname)
  /EMMEANS=TABLES(kleding) COMPARE ADJ(BONFERRONI)
  /EMMEANS=TABLES(conditie*kleding)
  /EMMEANS=TABLES(kleding*vetinname)
  /EMMEANS=TABLES(conditie*kleding*vetinname)
  /PRINT=DESCRIPTIVE ETASQ HOMOGENEITY
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=vetinname
  /DESIGN=conditie kleding conditie*kleding.

Dan krijg ik op hetzelfde effect uit within subjects effects F(1,1339)=1,49, p=,22.
Omdat ik hier geen significant effect meet, heb ik nog voor mijzelf even een gepaarde t-toets gedaan tussen vet1 en vet 2 en die  is wel weer significant.
Nu weet ik wel dat het hoofdeffect niet het belangrijkste is voor de hypothesen, maar het voelt toch een beetje alsof ik iets niet goed doe, of dat ik iets niet begrijp. Het valt mij in elk geval wel op dat bij beide f-waarden de degrees of freedom anders zijn. Is dit een logisch effect van het doen van een mixed design t.o.v. herhaalde meting en is dit de reden waarom je het beter in één toets kunt doen, of gaat er iets anders mis?

Ik krijg namelijk op de within subjects vetinname*conditie bij de mixed design ook een andere f (F(1,1339)=,12, p=,89 ) en een hoofdeffect van conditie van F(1,1339)=1,05, p=,35  dan bij de repeated measures (within F(1,1345)=,23, p=,79 en op het hoofdeffect conditie F(1,1345)=1,99, p,136).
Toegegeven het zijn allemaal niet significante effecten, maar ik vind het zo raar dat ik op beide metingen andere waarden krijg.
gevraagd 25 maart 2017 in Experimenteel Onderzoek (PB0402 en S05281) door Vincent de Boer (690 punten)
bewerkt 25 maart 2017 door Vincent de Boer

1 Antwoord

0 leuk 0 niet-leuks
Enkelvoudige analyses nemen geen interacties mee; en deze interacties kunnen soms voldoende sterk zijn om hoofdeffecten weg te drukken, etc. Om allerlei verschillende redenen (waaronder kanskapitalisatie) wil je zeer zuinig zijn met het aantal toetsen dat je doet. Als er dus een mogelijkheid is om het stelsel van hypothesen zo zuinig mogelijk te toetsen, dan heeft dat altijd de voorkeur.

Echter, er zijn ook wiskundige verklaringen voor het verschil in uitkomsten. Dit erg technisch kan worden, dus ik houd het bij een talige samenvatting. Ik zie aan de syntax (SSTYPE(3)) dat er type-3 errors worden gehanteerd (niet verbazend: dit is de standaard optie in SPSS). Kort gezegd: de type-3 error evalueerd het hoofdeffect na het evalueren van de interactie. Bij een significante interactie is dat fijn, want dan is die met voldoende power geevalueerd (en eet verklaarde variantie van de hoofdeffecten op). In het mixed-model zijn er extra interacties die in de ‘eenvoudigere’ toets niet aanwezig zijn, dus eten deze interacties samen meer hoofdeffect op, waardoor deze niet meer significant kunnen worden. Op zich is dat niet erg: het geeft enkel aan dat de interacties bij elkaar opgeteld best substantieel zijn (in verhouding tot het hoofdeffect).

In bijzondere gevallen zijn type-3 errors niet zo handig. Als de interactie niet significant is vinden we het wat minder fijn dat er op hoofdeffecten worden geknaagd, en de geavanceerde gebruiker zal dan in SPSS de type-2 error kiezen, maar dat is in de context van deze cursus niet nodig.

De belangrijkste les is wellicht: kies op goed onderbouwde wijze voor een zo zuinig mogelijk toetskader, en blijf daar zoveel mogelijk bij. Shoppen in andere toetsen kan tot verwarring leiden, omdat de toetsen allen op een net iets andere manier de data en het getoetste model afhandelen.
beantwoord 27 maart 2017 door Ron Pat-El (39,900 punten)
Hartelijk dank voor dit heldere antwoord!
...