Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Significante T-toets; niet significant hoofdeffect?

0 leuk 0 niet-leuks

Ik ben bezig met de eindopdracht voor PE, en na feedback te hebben ontvangen van mijn begeleider heb ik een fact. analyse met herhaalde metingen uitgevoerd.
Voordat ik dat heb gedaan, heb ik voor een van mijn hypothesen een onafhankelijke T-toets uitgevoerd met sanctieconditie als de onafhankelijke variabele. Hier kwam een significant verschil naar voren tussen de twee groepen.
Toen ik mijn fact. analyse uitvoerde, zag ik in de Tests of Between-Subjects Effect dat er geen significant hoofdeffect was van de sanctieconditie.

Nu is mijn vraag of dit van invloed is op mijn veronderstelling die bevestigd werd door de T-toets. Wordt die nu ongeldig verklaard omdat er uit de voornoemde tabel geen significant hoofdeffect van sanctieconditie naar voren kwam?

gevraagd 3 mei 2016 in Multivariate statistiek door lucanowak (500 punten)

2 Antwoorden

0 leuk 0 niet-leuks
Waarom zou je uberhaubt een losse t-toets doen als je later een analyse doet die de t-toets redundant maakt?
beantwoord 4 mei 2016 door Ron Pat-El (39,650 punten)

Omdat in de feedback die ik op mijn eerste versie/poging van de eindopdracht me niet verteld is deze achterwege te laten. Dus als ik het goed begrijp moet ik de T-toetsen die de 2 sanctiecondities en 2 rechtvaardigheidscondities met elkaar vergelijken, gewoon achterwege laten en dan afgaan op het feit dat er geen significant hoofdeffect is van de onafhankelijke variabelen?

Er is verder wel een significante interactie tussen sanctieconditie en PGB verschilscore. Als er geen significant hoofdeffect is van sanctieconditie (zoals uit de Tests of Between-Subjects Effect blijkt), wat wil dit dan nog zeggen? Ik zie door de bomen het bos nu niet meer namelijk.

Helaas kunnen wij als docenten niet teveel ingaan op de uitwerking van het paper, omdat het een tentamenopdracht betreft. Als de vraag niet over het paper zou gaan is er voor ons geen belemmering in wat wij kunnen antwoorden
Ok, dat is te begrijpen. Zou de meer algemene vraag dan wel een antwoord (dat ik dan later zelf moet toepassen op mijn resultaten) kunnen opleveren?
In dit geval dus, indien van wel: wat wil het zeggen als er een significante interactie is tussen de within subjects factor en een onafhankelijke variabele, maar diezelfde onafhankelijke variabele geen hoofdeffect laat zien?
Hoofdeffecten kunnen niet significant zijn bij significante interacties wanneer er kruislingse verbanden zijn. Een hoofdeffect is het effect van een variabele als de andere variabele niet per groep, maar in totaal wordt geevalueerd. Bij kruislingse verbanden kunnen effecten elkaar opheffen, en alleen zichtbaar worden wanneer de interactie in kaart wordt gebracht. Om zulke diagnostiek te bedrijven is het altijd aan te raden om een plot op te vragen van de interactie en deze, met de hoofd- en interactieeffecten ernaast, te duiden in mensentaal
0 leuk 0 niet-leuks

Nog een extra antwoord, vooruitlopend op mijn vermoeden dat de t-toets was uitgevoerd voordat de begeleider had gesuggereerd een var. analyse (variantieanalyse; dit bedoelde je neem ik aan met 'fact.' analyse? Kan namelijk voor factoriele variantie analyse staan, of voor factor analyse :-)).

In anova (en andere multivariate analyses) geldt dat als je design niet 'orthogonaal' is, oftewel, als je cellen niet precies evenveel deelnemers bevatten, een deel van de verklaarde variantie in de afhankelijke variabele toegeschreven kan worden aan meerdere voorspellers (factoren) tegelijkertijd. Je voorspellers hangen immers samen, en als je voorspellers samenhangen, weet SPSS (or R, of PSPP, of JASP) niet bij welke voorspeller stukjes verklaarde variantie horen.

De standaard aanpak van dit probleem deze uitdaging in SPSS is de zogenaamde 'Type 3 Sums of Squares', die betekent dat alle overlappende verklaarde variantie uit het model wordt gegooid. Dit kan betekenen dat de sterkte van het verband tussen een voorspeller en de afhankelijke variabele verandert.

Een andere verklaring is te vinden in de vrijheidsgraden; die worden verdeeld over de voorspellers, en hoe minder vrijheidsgraden de error-term heeft, hoe groter de $MS_\text{error}$ uiteindelijk is, want

$$MS_\text{error} = \frac{SS_\text{error}}{Df_\text{error}}$$

Multivariate analyses kunnen dus minder power hebben dan bivariate analyses. Dit is overigens ook de reden dat je niet-significante interactie-termen altijd uit je model moet verwijderen; dan krijgt de error-term die vrijheidsgraden weer terug.

Dit is een goed voorbeeld van een aantal nuances van multivariate analyses die maken dat de conclusies op basis van multivariate analyses niet altijd voor de hand liggen; alles hangt met elkaar samen, dus je moet heel goed weten wat je doet als je multivariate analyses uitvoert.

beantwoord 4 mei 2016 door gjp (63,080 punten)
bewerkt 4 mei 2016 door gjp
Bedankt! Ja, ik had die T-toetsen uitgevoerd voor ik die feedback terug kreeg en ik bedoelde inderdaad een factoriële variantieanalyse met herhaalde metingen. :-)
Mijn probleem is dus ook dat ik ontzettende moeite heb met multivariate analyses maar mijn begeleider wilde per se dat ik de voor- en nameting in een mixed design ANOVA zou verwerken, in plaats van alleen een factoriële variantieanalyse (zonder die herhaalde metingen dus).

Ik snap alleen niet helemaal wat bedoeld wordt met dat niet-significante interactie-termen (interacties dus?) altijd uit het model dienen te worden gehaald. Is dit iets dat in SPSS gedaan moet worden of vergt dit een of andere rekensom?

Sorry voor de overvloed aan vragen overigens; ik zit met de problemen omdat in het cursusmateriaal überhaupt geen niet-significante hoofdeffecten besproken zijn. :-P
Haha :-) Termen 'uit het model halen' betekent gewoon dat je de analyse herhaalt, maar dan zonder die termen, dus bijvoorbeeld zonder de interactie-termen, of zonder hoofd-effecten die niet significant zijn. Dus dat kun je zelf met SPSS doen.
Hm, maar zou ik dan niet te veel aan het vissen zijn voor een significant hoofdeffect? Want als ik het nou zo zou laten als het is, hoe zou ik dan een significante interactie tussen mijn voorspeller en afhankelijke variabele moeten interpreteren, als er geen significant hoofdeffect is van de voornoemde voorspeller? Want hoe de uitleg in mijn hoofd zit nu, lijken deze twee resultaten elkaar juist nogal tegen te spreken. :-S

Multivariate analyses moet je normaal altijd uitvoeren volgens een voorop gesteld plan; precies omdat ze zo complex zijn (i.e. alle effecten zijn conditioneel op de rest van het model). Dit vooraf uitdenken beschermt tegen vissen. De procedure is normaal:

  1. Interactietermen + alle betreffende lagere orde interactie-termen, plus alle hoofdeffecten van de betreffende variabelen in je model stoppen.
  2. Als de hoogste orde interactie(s) significant is/zijn, dan stop je hier. Je concludeert dan dat er interactie is, wat, als je design een experiment is en je minimaal 2 of 3 meetmomenten hebt (zie het fantastisch artikel op http://www.ehps.net/ehp/index.php/contents/article/view/ehp.v14.i1.p4/31), betekent dat er moderatie is (en wat met een crossectioneel observationeel design moeilijk te interpreteren is).
  3. Als de hoogste orde interactie(s) niet significant is, kun je die uit je model halen. Daarna draai je het model dus weer. Als de lagere orde interactie(s) nu significant zijn, zie 2; anders haal je die er weer uit, en zo 'zak je af' tot je alleen hoofdeffecten hebt.
  4. Onthoud dat hoofdeffecten niet te interpreteren zijn als ze betrokken zijn in een interactie die significant is. Die betekent immers dat het effect conditioneel is; er bestaat geen algemeen effect van de betreffende variabele.

Dit is zo'n beetje wat je steeds doet als je interacties analyseert.

...