Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Klopt het dat de significanties bij de one way anova en de factoriele anova (kijkend bij dezelfde onafhankelijke var) verschillend zijn?

0 leuk 0 niet-leuks

Ik ben een beetje aan het "spelen" met de analyses om het echt te leren begrijpen en stuit op het volgende:

One way ANOVA: onafhankelijke variabele = conditie

ANOVA

vetconsumptie totaal, in vetpunten 

Sum of Squares

df

Mean Square

F

Sig.

Between Groups

152,977

2

76,489

2,135

,119

Within Groups

47459,715

1325

35,819

Total

47612,692

1327

Factoriele ANOVA: onafhankelijke variabelen = conditie en kleding

Tests of Between-Subjects Effects

Dependent Variable:   vetconsumptie totaal, in vetpunten 

Source

Type III Sum of Squares

df

Mean Square

F

Sig.

Partial Eta Squared

Corrected Model

886,645a

5

177,329

5,015

,000

,019

Intercept

372134,342

1

372134,342

10524,840

,000

,889

conditie

110,211

2

55,106

1,559

,211

,002

kleding

728,929

1

728,929

20,616

,000

,015

conditie * kleding

3,550

2

1,775

,050

,951

,000

Error

46672,192

1320

35,358

Total

583051,000

1326

Corrected Total

47558,836

1325

a. R Squared = ,019 (Adjusted R Squared = ,015)

Als je in de factoriele ANOVA-tabel kijkt, komt er bij conditie .211 uit en bij One way ANOVA .119. Kan dat kloppen? Voor mijn gevoel moet het hetzelfde zijn.

En als je uiteindelijk de factoriele ANOVA wilt doen, omdat je sowieso naar conditie*kleding wilt kijken, en je wilt ook naar conditie apart kijken, moet je dan altijd de One way ANOVA doen of kun je dan gelijk tabel 2 maken? 
Indien je direct tabel 2 kunt maken, is dat dan beter omdat je dan misschien minder analyses doet (dus minder kans op type 1-fouten)?

gevraagd 7 augustus 2017 in Psychologisch Experiment (PE) door 851861522 (1,430 punten)
Dit hoeft volgens mij niet hetzelfde te zijn. In de factoriële ANOVA, met meerdere predictoren, wordt een groter deel van de variatie door de tweede predictor verklaard, in dit geval kleding. Vandaar dat de eerste predictor 'conditie' nog minder significant is. Je ziet dit ook aan de lagere Sum of Squares. Correct me if I'm wrong.
Oké, dus als ik je goed begrijp, zijn het wel degelijk verschillende berekeningen die worden gedaan en moet je ze altijd apart berekenen, d.w.z. dat je niet gelijk tabel 2 kunt maken en in die tabel de one way ANOVA bij conditie kan aflezen (want dit is dus geen one way ANOVA voor "puur" conditie, maar wordt iets van kleding meegenomen).

Ik begrijp dat je bij tabel 2 "conditie" naar het hoofdeffect kijkt, maar waar kijk je dan naar bij one way anova conditie? Ik snap niet zo goed het verschil denk ik. Kun je dat uitleggen?

Ik zie namelijk niet het verschil tussen het volgende:

One way anova: er is geen significant verschil tussen de condities en vetpunten op voorhand.

Factoriele anova: er is geen hoofdeffect tussen condities en vetpunten op voorhand.

1 Antwoord

0 leuk 0 niet-leuks
Reinout's uitleg klopt: de $p$-waarde is een functie van hoeveel variantie een voorspeller verklaart in de afhankelijke variabele (ten opzichte van de errorvariantie).

Sterker nog, de $p$-waarde is een functie van de $F$-waarde, en de $F$-waarde is de variantie die wordt verklaard door de voorspeller (of factor, of onafhankelijke variabele), gedeeld door de variantie die niet wordt verklaard (de error):

$$F = \frac{MS_{factor}}{MS_{error}}$$

($MS$ staat voor Mean Squares, oftewel variantie; en $MS_{factor}$ is de variantie die wordt verklaard door de factor, dus de conditie, of de onafhankelijke variabele, of 'het effect')

De $p$-waarde is een deterministische functie van de $F$-waarde en de beide bijhorende vrijheidsgraden.

Een laatste ding dat je moet begrijpen is dat Anova vaak werkt met de zogenaamde "Type III sums of squares": dit is wat complexer (en hoef je verder niet te begrijpen), maar betekent kort samengevat dat als wat variantie in de afhankelijke variabele wordt verklaard door meerdere variabelen tegelijk, die variantie helemaal buiten beschouwing wordt gelaten.

Ok, met die bouwstenen gaan we nu werken.

Dus, er zijn drie redenen waarom die $p$-waarden anders zijn.

Ten eerste: er zijn minder vrijheidsgraden over voor de error. Een deel van die vrijheidsgraden wordt immers opgebruikt door de andere termen in het model (i.e. andere voorspellers, en de interactie). Hierdoor wordt een andere $F$-verdeling gebruikt (want de $F$-verdeling die wordt gebruikt om met de $F$-waarde de $p$-waarde op te zoeken, is een functie van de beide vrijheidsgraden), maar dit betekent ook dat de $MS_{error}$ groter is, want de $SS_{error}$ wordt door een kleinere $Df$ gedeeld.

Ten tweede is er minder errorvariantie omdat er meerdere termen in het model zitten, en die termen verklaren allemaal wat van de afhankelijke variabele. Er is dus minder onverklaarde variantie (i.e. errorvariantie).

Ten derde overlapt 'conditie' misschien met andere voorspellers in het model (in de verklaring van de afhankelijke variabele) waardoor die overlappende variantie uit het model wordt gesneden. Dat beinvloedt dus tegelijkertijd de $MS_{factor}$ en de $MS_{error}$.

Om al die redenen zullen de $p$-waarden dus verschillen.

Overigens hebben $p$-waarden sowieso van studie tot studie andere waarden - dus je hoeft je nooit zorgen te maken over relatief kleine verschillen.
beantwoord 8 augustus 2017 door gjp (64,700 punten)

Bedankt voor de uitgebreide uitleg. Ik snap nu waarom die p-waarden anders zijn. 

Alleen snap ik nog niet of je, wanneer je wilt kijken of groepen op voorhand verschillen, zowel de onafhankelijke t-toets, one way anova als de factoriele anova moet gebruiken, of alleen de factoriele anova volstaat. 

Hieronder staat een omschrijving van als je alles apart doet, maar de laatste alinea is bijna hetzelfde als de voorgaande alinea's en voelt erg dubbelop:

Tevens is er gekeken of er op voorhand verschillen waren tussen de groepen. Er is geen significant verschil gevonden tussen het totaal aantal vetpunten dat de deelnemers op voorhand tot zich namen en de conditie waarin zij zaten, F(2, 1325) = 2.14, p = .119, ω = .04.

         Het totaal aantal vetpunten van deelnemers die voorlichting kregen van een voorlichter in formele kleding is op voorhand significant meer (M = 21.48, SE = 0.36) dan het totaal aantal vetpunten van deelnemers die voorlichting kregen van een voorlichter in informele kleding (M = 19.72, SE = 0.18). Dit verschil, -1.76, BCa 95% CI [-2.5909, -1.0248], is significant t(1324) = -4.42, p < .001, en representeert een zwak effect, d = 0.30. Vanwege dit resultaat zal een One way repeated measures ANCOVA – in plaats van One way repeated measures ANOVA – worden gebruikt met de voormeting als covariaat om hypothese 2 te toetsen.

         Er is een significant hoofdeffect van de kleding die de voorlichter droeg op de totale vetconsumptie op voorhand, F(1, 1320) = 20.62, p < .001, ω2 = .03. Deelnemers die voorlichting kregen van een voorlichter in informele kleding, consumeerde significant minder vet op voorhand dan deelnemers die voorlichting kregen van een voorlichter in formele kleding. Er is geen significant hoofdeffect van de conditie op de totale vetconsumptie op het eerste meetmoment, F(2,1320) = 1.56, p = .211, ω2 = .000. Er is tevens geen significant interactie-effect tussen de conditie waar men in zat en de kleding die de voorlichter droeg op het aantal vetpunten dat de deelnemers op voorhand tot zich namen, F(2, 1320) = .05, p = .951, ω2 = .000.

Je toetst iets normaal maar 1 keer. En daarom moet je van te voren vastleggen hoe je alles gaat toetsen, en waar je naar gaat kijken. Dit is het doel van preregistraties (zie e.g. https://cos.io/prereg/).

Dit hebben we nog niet in het onderwijs verwerkt, maar is wel verstandig om jezelf alvast aan te leren als je meer onderzoek wil doen. Preregistraties voorkomen dat je (bewust of onbewust) achteraf de analyse kiest die het beste past bij je verwachtingen.
Oke, dus als ik het goed begrijp, volstaat de laatste alinea op zichzelf en had ik de eerste twee analyses niet hoeven doen. Ik heb nog een vraag maar zie dat dat een andere vraag betreft, dus ik zal een nieuwe vraag aanmaken.
...