Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks

Bij vraag 2.3.12 moet je Cohen's d berekenen om het effect te interpreteren. Bij het antwoord is de handmatig berekende d afgerond 18.96.

SPSS geeft een  compleet ander getal. Dit terwijl de t-test hetzelfde weergeeft als bij het antwoord bij de vraag. Hoe is dit te verklaren?

in Experimenteel Onderzoek (OEO, PB04x2) door (180 punten)
Ik en een aantal medestudenten hebben dezelfde vraag. Wij hebben het berekend in Jamovi en komen op hetzelfde antwoord uit voor de Cohen's d. Ook de R is in jamovi anders dan wanneer we het met de hand zouden uitrekenen. Ben dus ook benieuwd naar het antwoord!

2 Antwoorden

0 leuk 0 niet-leuks
Cohen's $d$ is gedefinieerd als:

$$d = \frac{\text{verschil tussen gemiddelden}}{\text{standaarddeviatie}}$$

Dat lijkt een eenduidige formule, maar zowel voor de bovenste term als de onderste bestaan verschillende opties.

Bij het verschil tussen gemiddelden is er minder variatie. Je kunt bijvoorbeeld het meer robuuste zogenaamde 'trimmed mean' nemen, waarbij de bovenste en onderste 5% of 10% van de waarden is verwijderd, maar in veruit de meeste gevallen is dit gewoon het huis-, tuin-, en keukengemiddelde.

Maar, de standaard-deviatie is een ander verhaal.

Want, elke datareeks waaruit je een gemiddelde berekent heeft een eigen standaarddeviatie. Ook een eigen gemiddelde, maar hoe je dat oplost ligt al besloten in het deel boven de streep: dat is immers het verschil tussen gemiddelden.

Maar hoe ga je om met die twee standaarddeviaties dan?

Daar zijn allerlei opties voor en ideeen over.

Sommige mensen zeggen dat je het gemiddelde van 'de controlegroep' moet pakken. Als er een duidelijke controlegroep is, dan is daar van alles voor te zeggen.

Anderen zeggen dat je de grootste standaarddeviatie moet pakken.

Anderen zeggen dat je moet kijken of de varianties in beide groepen gelijk zijn, en dat wat je moet doen daarvan afhangt.

Weer anderen zeggen dat je altijd moet poolen: soort van middelen voor varianties. En hoe ga je dan om met verschillende groepsgrootte? Weeg je grote groepen dan zwaarder (want accuratere schatting)?

En als de varianties ongelijk zijn, welke van de twee is dan 'de goeie'?

Hier zijn dus heel veel mogelijkheden voor, en geen enkele is 'de goede' of 'de verkeerde'. Welke het meest gepast (of 'goed') is, hangt van je situatie af.

Tegelijkertijd kiezen ontwikkelaars van software vaak voor een 'default': een methode die wordt gebruikt als je geen andere aanpak specificeert. Welke methode ze als 'default' kiezen hangt onder andere af van hun persoonlijke voorkeuren.

Die verschilt dus van programma tot programma, en dit kan zulke verschillen verklaren.

Dit benadrukt weer dat je heel wantrouwend moet zijn tegenover puntschattingen, en je altijd moet realiseren dat het schattingen zijn waar een bepaalde onzekerheid in zit. Betrouwbaarheidsintervallen gebruiken is dus logischer: die introduceren een 'gepaste onzekerheid' over uitspraken.

(die overlappen dan natuurlijk ook niet 100% van het ene programma tot het andere, tenzij je met de juiste argumenten/parameters specificeert welke formules precies gebruikt moeten worden)
door (77.1k punten)
0 leuk 0 niet-leuks

Er zijn meerdere varianten van Cohen’s D, en globaal doen ze eigenlijk hetzelfde, maar gebaseerd op nét een andere aanname over welke ‘ruis’ (residuele meetfout) het beste een insteek is voor de effectgrootte bepaling. Echt fout kun je hierin niet kiezen, het is vooral weten wat je kiest en wat daar de impact van is. 

Als je eigenlijk (net als Field) uitgaat van ongelijke varianties tussen groepen, dan is het niet sterk om een pooled estimator te gebruiken in de berekening van Cohen’s D. Hoewel SPSS het niet zo duidelijk noemt zijn er twee t-toetsen: de Student’s t-test, en deze heeft equal variances assumed, en de Welch’s t-test, zonder een assumptie van gelijke varianties. Omdat Field altijd uitgaat van ongelijke varianties, gebruikt hij altijd de Welch’s t-test (de t-test met aangepaste vrijheidsgraden), en daar past ook een Cohen’s D bij waar varianties als ongelijk behandeld worden. Het is dan op zich logisch dat de variantie van de controlegroep genomen wordt, omdat de controle de nulhypothese is waar je tegen toetst.

Het maakt uiteindelijk niet heel veel uit welke je gebruikt: voor het tentamen zullen nooit subtiele verschillen gepresenteerd worden die kunnen staan of vallen bij de keuze voor een Cohen’s D (of Glass’ Delta). In het verslag zijn we allen eigenlijk al lang tevreden als er uberhaubt een cohen’s D gegeven wordt. Eventueel (en graag) kun je in de methodesectie bij analyse aangeven welke variant van Cohen’s D je gebruikt. SPSS is ook niet altijd heel duidelijk of wat het Cohen’s d noemt niet ‘echt’ cohen’s d hoeft te zijn. Bijvoorbeeld bij het gebruik van paired observations (within-group mean difference), bestaat de cohen’s onder verscheidene namen, waaronder wat soms wel d2 genoemd wordt (in zéér subtiel contrast met slechts d). Het is een aangepaste cohen’s d maat, maar dan Y1-Y2, gedeeld door de pooled within-groups mean of absolute differences tussen alle observatieparen. Dit wordt meestal niet SD genoemd, maar GMD. Dit lijkt de keuze in OpenMens te zijn. Een toegankelijk over GMD is:

Cahan, S., & Gamliel, E. (2011). Cohen's d vs Alternative Standardized Mean Group Difference Measures. Practical Assessment, Research, and Evaluation16(1), 10. DOI: https://doi.org/10.7275/t1wf-5r27
 

door (57.2k punten)
...