Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

1 leuk 0 niet-leuks

In jamovi krijg ik bij opgave 2.3.13 onderstaande output, met een Cohen's d van -1.60 voor Welch's t test. Als ik hier op onderzoeksvragen de oudere vragen over deze opgave lees, dan blijkt daar ook uit dat er in een oudere versie van het vak een vergelijkbare oplossing heeft gestaan (-1.61), maar die is ondertussen aangepast.

Independent Samples T-Test
95% Confidence Interval 95% Confidence Interval
Statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
fouten Student's t -6.88 158 < .001 -4.35 0.633 -5.60 -3.10 Cohen's d -1.29 -1.76 -0.812
Welch's t -12.5 125 < .001 -4.35 0.348 -5.04 -3.66 Cohen's d -1.60
ᵃ Levene's test is significant (p < .05), suggesting a violation of the assumption of equal variances

Het verschil zit hem in de manier waarop d wordt berekend. Field en youlearn gebruiken de sd van de controlegroep, en dan komt er een andere d uit.

Het is mij niet helemaal duidelijk wanneer je precies voor welke berekening zou moeten kiezen. In de documentatie van lsr lees ik: 

https://www.rdocumentation.org/packages/lsr/versions/0.5/topics/cohensD

For other versions of the t-test, there are two possibilities implemented. If the original t-test did not make a homogeneity of variance assumption, as per the Welch test, the normalising term should mirror the Welch test (method = "unequal"). Or, if the original t-test was a paired samples t-test, and the effect size desired is intended to be based on the standard deviation of the differences, then method = "paired" should be used.

Kortom de vraag: waarom is d = -1,60 hier fout en d = 19.0 goed? 

in Experimenteel Onderzoek (PB0402 en S05281) door (130 punten)
Ik had een soortgelijke vraag dus ik volg deze even. In mijn geval SPSS die voor de cohen's D berekening de standaarddeviatie van het verschil leek te gebruiken en niet de standaard deviatie van de controlegroep. In mijn geval was het voor een gepaarde t-test maar de vraag blijft hetzelfde: welke gebruik je en hoe rapporteer je dit volgens APA aangezien er toch een gigantisch verschil in is.

1 Antwoord

0 leuk 0 niet-leuks

Er zijn vele varianten van Cohen’s D, allen doen ze eigenlijk hetzelfde, maar gebaseerd op nét een andere aanname over welke ‘ruis’ (residuele meetfout) het beste een insteek is voor de effectgrootte bepaling. Echt fout kun je hierin niet kiezen, het is vooral weten wat je kiest en wat daar de impact van is.

Als je (net als Field) uitgaat van ongelijke varianties tussen groepen, dan is het niet sterk om een pooled estimator te gebruiken in de berekening van Cohen’s D. Hoewel SPSS het niet zo duidelijk noemt zijn er twee t-toetsen: de Student’s t-test, en deze heeft equal variances assumed, en de Welch’s t-test, zonder een assumptie van gelijke varianties. Omdat Field altijd uitgaat van ongelijke varianties, gebruikt hij altijd de Welch’s t-test (de t-test met aangepaste vrijheidsgraden), en daar past ook een Cohen’s D bij waar varianties als ongelijk behandeld worden. Het is dan op zich logisch dat de variantie van de controlegroep genomen wordt, omdat de controle de nulhypothese is waar je tegen toetst.

Simpel gezegd:

  • Als je uitgaat van gelijke varianties, dan kun je pooled gebruiken (de gewogen gemiddelde SD). Echter, zie ook Field en de leeswijzer: het is beter om dit nooit te doen. In deze cursus wordt de lijn gevolgd om nooit van gelijke varianties uit te gaan.
  • Als je van ongelijke varianties uitgaat (bij een t-toets die tussen groepen vergelijkt, dus een independent samples t-test), dan gebruik je het liefst de formule die in Field gebruikt wordt (de variantie van de controlegroep, dus wat assumed wordt onder de nulhypothese)
  • Gebruik je een paired t-test, dan zou je in R de bijbehorende 'paired' moeten opvragen, afhankelijk van hoe R die berekend is dat waarschijnlijk d2 (Cahan en Gamliel, 2011)

NB: het helpt om te weten dat wat in R expliciet (en correct) een Welch t-test genoemd wordt, dezelfde t-test is die SPSS geeft bij 'equal variances not assumed'. R geeft deze test als standaardoutput, omdat de maker van het t-test package de huidige standaard volgt om altijd van ongelijke varianties uit te gaan. De variant bij equal variances assumed heet de Student t-test, en zou in R specifiek moeten worden opgevraagd. 

door (52.0k punten)
...