Welke methode voor Cohen's d? (opgave 2.3.13)

Question

In jamovi krijg ik bij opgave 2.3.13 onderstaande output, met een Cohen's d van -1.60 voor Welch's t test. Als ik hier op onderzoeksvragen de oudere vragen over deze opgave lees, dan blijkt daar ook uit dat er in een oudere versie van het vak een vergelijkbare oplossing heeft gestaan (-1.61), maar die is ondertussen aangepast.

Independent Samples T-Test
														95% Confidence Interval								95% Confidence Interval
				Statistic		df		p		Mean difference		SE difference		Lower		Upper				Effect Size		Lower		Upper
fouten		Student's t		-6.88	ᵃ	158		< .001		-4.35		0.633		-5.60		-3.10		Cohen's d		-1.29		-1.76		-0.812
		Welch's t		-12.5		125		< .001		-4.35		0.348		-5.04		-3.66		Cohen's d		-1.60
ᵃ Levene's test is significant (p < .05), suggesting a violation of the assumption of equal variances

Het verschil zit hem in de manier waarop d wordt berekend. Field en youlearn gebruiken de sd van de controlegroep, en dan komt er een andere d uit.

Het is mij niet helemaal duidelijk wanneer je precies voor welke berekening zou moeten kiezen. In de documentatie van lsr lees ik: 

https://www.rdocumentation.org/packages/lsr/versions/0.5/topics/cohensD

For other versions of the t-test, there are two possibilities implemented. If the original t-test did not make a homogeneity of variance assumption, as per the Welch test, the normalising term should mirror the Welch test (method = "unequal"). Or, if the original t-test was a paired samples t-test, and the effect size desired is intended to be based on the standard deviation of the differences, then method = "paired" should be used.

Kortom de vraag: waarom is d = -1,60 hier fout en d = 19.0 goed? 

Comments

Ik had een soortgelijke vraag dus ik volg deze even. In mijn geval SPSS die voor de cohen's D berekening de standaarddeviatie van het verschil leek te gebruiken en niet de standaard deviatie van de controlegroep. In mijn geval was het voor een gepaarde t-test maar de vraag blijft hetzelfde: welke gebruik je en hoe rapporteer je dit volgens APA aangezien er toch een gigantisch verschil in is.

Answer 1

Er zijn vele varianten van Cohen’s D, allen doen ze eigenlijk hetzelfde, maar gebaseerd op nét een andere aanname over welke ‘ruis’ (residuele meetfout) het beste een insteek is voor de effectgrootte bepaling. Echt fout kun je hierin niet kiezen, het is vooral weten wat je kiest en wat daar de impact van is.

Als je (net als Field) uitgaat van ongelijke varianties tussen groepen, dan is het niet sterk om een pooled estimator te gebruiken in de berekening van Cohen’s D. Hoewel SPSS het niet zo duidelijk noemt zijn er twee t-toetsen: de Student’s t-test, en deze heeft equal variances assumed, en de Welch’s t-test, zonder een assumptie van gelijke varianties. Omdat Field altijd uitgaat van ongelijke varianties, gebruikt hij altijd de Welch’s t-test (de t-test met aangepaste vrijheidsgraden), en daar past ook een Cohen’s D bij waar varianties als ongelijk behandeld worden. Het is dan op zich logisch dat de variantie van de controlegroep genomen wordt, omdat de controle de nulhypothese is waar je tegen toetst.

Simpel gezegd:

• Als je uitgaat van gelijke varianties, dan kun je pooled gebruiken (de gewogen gemiddelde SD). Echter, zie ook Field en de leeswijzer: het is beter om dit nooit te doen. In deze cursus wordt de lijn gevolgd om nooit van gelijke varianties uit te gaan.
• Als je van ongelijke varianties uitgaat (bij een t-toets die tussen groepen vergelijkt, dus een independent samples t-test), dan gebruik je het liefst de formule die in Field gebruikt wordt (de variantie van de controlegroep, dus wat assumed wordt onder de nulhypothese)
• Gebruik je een paired t-test, dan zou je in R de bijbehorende 'paired' moeten opvragen, afhankelijk van hoe R die berekend is dat waarschijnlijk d₂ (Cahan en Gamliel, 2011)

NB: het helpt om te weten dat wat in R expliciet (en correct) een Welch t-test genoemd wordt, dezelfde t-test is die SPSS geeft bij 'equal variances not assumed'. R geeft deze test als standaardoutput, omdat de maker van het t-test package de huidige standaard volgt om altijd van ongelijke varianties uit te gaan. De variant bij equal variances assumed heet de Student t-test, en zou in R specifiek moeten worden opgevraagd. 

Comments

Als ik in SPSS 28 bij Paired T-test de optie 'Average of variance' of de functie 'Corrected standard deviation of the difference' aanvink, krijg ik in beide gevallen een Cohen's D die overeen komt met die van de formule die Field gebruikt (bij één van zijn oefenopdrachten in H10, hij komt uit op -0.07, ik op 0.065 (ligt aan de volgorde van aftrekken van gemiddelde van de sample). Met de  'standard deviation of the difference' kom ik uit op 0,051, een (kleine) afwijking.

Als ik wil afgaan op een Cohen's D die rekening houdt met ongelijke variaties, welke opties kan ik het beste gebruiken in SPSS 28 of maakt dat geen verschil? Of is geen enkele Cohen's D berekening in SPSS die (voldoende) rekening houdt met ongelijke variaties en blijft het handmatig uitrekenen?