Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks
Hallo,

Voor mijn manipulatiechecks en controle op cross-over effecten heb ik een 2X2 factoriele ANOVA uitgevoerd. Ik vind voor beide onafhankelijke variabelen geen cross-over effecten, maar het zit wel erg op het randje:

Voor variabele X is dat F(1,234) = 3,26, p = 0,07 (hierbij is eta squared 0,014) en voor variabele Y is dat F(1,234) = 3,62, p = 0,06 (hierbij is eta squared 0,015). Beide p-waarden liggen net boven de grens van 5%.

Het is in principe allebei niet significant, dus geen crossover effecten.

Wat doe je als de p-waarde zo "op het randje" is? Heeft dit nog verdere gevolgen voor je onderzoek?

Groeten,

Rosanne
in Experimenteel Onderzoek (OEO, PB04x2) door (190 punten)

1 Antwoord

0 leuk 0 niet-leuks
p-waarden zijn ja/nee-spelletjes; er is geen randje. Dit is tegenintuitief, maar erg belangrijk. Zodra het over het alfa-criterium gaat, is het net zo significant als wanneer het er ver overheen gaat. Dit maakt p-waarden daarom ook een beetje een botte bijl.

De kunst is om meer waarde te hechten aan de effectgrootte; die is namelijk wel interessant om als een 'sliding scale' te evalueren. Zeker in dit geval zijn beide samen evalueren van groot belang.

Je p-waarde is inderdaad net randje. Dan komt de grote vraag: is dat een powerprobleem en was bij een paar deelnemers meer in de steekproef het effect wel significant? Hier zijn de effectgrootten inzichtelijk. Als partial eta-squared redelijk fors is (bijvoorbeeld .08 of hoger), dan zou ik niet teveel waarde aan de p-waarden hangen. Echter, als partial-eta-squared praktisch nul is (bijvoorbeeld lager dan .02) dan is het, zelfs bij significant, praktisch geen sterk effect.

Dus: p-waarden als een flauw ja/nee spelletje spelen, en de conclusies wegen/nuanceren aan de hand van de effectgrootten.
door (63.4k punten)
Nog een nuancering: als de steekproefomvang relatief klein is (e.g. 100 deelnemers of minder; maar ook 200 deelnemers kan te weinig zijn, hangt van de situatie af), is de kans op een grote effectsize puur door toeval groot. Dus, als er in de populatie geen effect is, dan is de kans dat je door toeval (dus door ruis, door error) een grote effectgrootte oftewel een sterk verband aantreft in je steekproef, veel groter met een kleine steekproef dan met een grote steekproef.

Als een p-waarde net niet significant is, en de steekproefomvang laag, dan is een grote effectgrootte niet indicatief voor een power-probleem. Het is dan waarschijnlijker dat je een type 1-fout net hebt vermeden :-)

In elk geval is het belangrijk om consequent te zijn. Als je niet van plan bent de p-waarden als hard beslissingscriterium te gaan hanteren, besluit dan dan voordat je de studie gaat doen, en pas dit consequent toe. Als je voor sommige verbanden de p-waarden wel als harde grens wil hanteren (bijvoorbeeld omdat ze erg laag zijn), dan dwing je jezelf daarmee om ze overal als harde grens te hanteren.
...