Waarom krijg ik een verschillende p-waardes wanneer ik een t-toets doe?

Question

Ik bereken Cohen's d:

gepoolde sd = (5,28 + 5,99) / 2 = 5,635

cohen's d = (82,30-82,89)/ 5,635 = -,106

Nu wil ik weten of deze waarde betrouwbaar is, daarom stel ik het 95% betrouwbaarheidsinterval van cohen's d op.

(82,3-82,89) + 1,98 * (SE) ,32532 = ,0369672

(82,3-82,89) - 1,98 * (SE) ,32532 = -1,2382872

Daarna weet ik eigenlijk niet meer zo goed wat ik moet doen en doe ik een t-toets.

hier uit komt:

r: ,423 met een p waarde van ,000.

Dat leek mij best wel significant.

dan komt:

t= -1,846 met een p waarde van ,066.

Dus niet significant.

Ik snap nu niet zo goed wat ik over deze gegevens kan zeggen.

kan iemand mij dit uitleggen?

Answer 1

Voor ik je eigenlijke vraag beantwoord: waar haal je de standaardfout van Cohen's d vandaan? Dit is niet de standaardfout van het verschil tussen de gemiddelden, voor de duidelijkheid!

En je eigenlijke vraag: bij een gepaarde t-toets heb je twee datareeksen waarbij de datapunten in elke reeks aan elkaar gekoppeld kunnen worden (bijvoorbeeld omdat ze bij dezelfde persoon horen).

Bij zulke data kun je een correlatie berekenen. Als die correlatie 0 is, dan is er geen samenhang tussen de twee datareeksen (dus bijvoorbeeld tussen voor- en nameting), en kun je dus net zo goed een ongepaarde t-toets doen.

Die correlatie zegt die niets over je t-toets. Dat is de t-waarde die je daarna berekent, mnet die bijbehorende p-waarde. In dit geval is het verschil tussen de twee gemiddelden dus niet significant. De correlatie tussen bijvoorbeeld voor- en nameting is wel significant; dus je kunt de voormeting voorspellen uit de nameting, en vice versa.

Wat je niet kun doen, is de score voorspellen uit de dichotome variabele. Als dat dus bijvoorbeeld meetmoment is, dan kun je de score niet voorspellen uit meetmoment. Want de gemiddelden op beide meetmomenten kunnen zomaar gelijk zijn in de populatie.