Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Grenswaarde?

0 leuk 0 niet-leuks

Als r(/d/η²/ω²/V/OR) een waarde heeft tussen de categorieën in - dus bijv.: r=.1/.3/.5 of d=.2/.5/.8 of η²=.01/.09/.25 of ω²=.01/.09/.25 of V=.1/.3/.5 of OR=1.5/2.5/4 of OR=.67/.4/.25-, in welke categorie valt die waarde dan?

gevraagd 28 juli 2016 in Kwalitatief Onderzoek (oude cursus Observatie & Interview) door Rotíste (2,880 punten)
bewerkt 29 juli 2016 door Rotíste

1 Antwoord

0 leuk 0 niet-leuks

Deze vraag kun je het beste zelf beantwoorden :-)

Daar zijn twee redenen voor.

Ten eerste gaat jouw vraag nu over puntschattingen: oftewel, een effect size schatting die bestaat uit één getal. Die kun je beter niet gebruiken voor beslissingen, omdat ze uitsluitend gelden voor je steekproef - en steekproeven zijn niet interessant, die zijn alleen interessant als instrument om iets te zeggen over de populatie.

Als je iets wil weten over de populatie, zul je een betrouwbaarheidsinterval uit moeten rekenen; een interval dat een gegeven proportie van de steekproeven de populatiewaarde bevat (zie ook deze briljante site). Een 95% betrouwbaarheidsinterval bevat in 95 van de 100 steekproeven de populatiewaarde. Een 100% betrouwbaarheidsinterval bevat dus altijd de effectsize in de populatie, maar die is oneindig breed. Een 50% betrouwbaarheidsinterval bevat in de helft van de steekproeven de populatiewaarde. Die is wel lekker smal, maar in 1 van de 2 steekproeven ligt de populatiewaarde dus buiten het interval.

Hoe smaller het betrouwbaarheidsinterval is, hoe kleiner de kans dat de populatiewaarde er in ligt (hoe lager de betrouwbaarheid). Het extreemste geval is een interval met een breedte van 0, oftewel, een 0% betrouwbaarheidsinterval. Dit is wat een puntschatting is. Je weet dus zeker dat de effectsize in de populatie verschilt van de puntschatting die je in je steekproef vondt - misschien heel veel, misschien minimaal, maar anders is hij letterlijk per definitie.

Je moet dus kiezen hoe zeker je wil zijn dat je betrouwbaarheidsinterval de waarde van de effectsize in de populatie bevat. Stel dat je voor het gangbare 95% betrouwbaarheidsinterval gaat (hoewel Cohen in zijn IMHO fantastische artikel "Things I've Learned (So Far)" pleit voor 80% betrouwbaarheidsintervallen). Dan omvat je interval opeens de grenswaarde, en ligt hij er niet meer precies op.

Dit lost je probleem op: je kunt dan iets rapporteren als "The correlation is likely between .18 and .41, corresponding to a small to medium effect size." Hoewel de correlatie dan natuurlijk ook prima .17 of .42 zou kunnen zijn in de populatie (die 95% grenzen zijn immers ook soort van arbirtair) is een correlatie boven de .60 of een negatieve samenhang (onder de 0) waarschijnlijk uit te sluiten op basis van je steekproef, met aan zekerheid grenzende waarschijnlijkheid.

Dit brengt ons bij de tweede reden dat je deze vraag beter zelf kunt beantwoorden. Zoals Cohen uitlegde toen hij deze tentatieve grenswaarden introduceerde, zijn het tentatieve grenswaarden. Wat een kleine, middelgrote, of grote effectsize is, is in de eerste plaats een functie van de context (dat we die zo vaak ontberen in de psychologie, dat we de richtlijnen bijna dogmatisch volgen, zegt misschien ook een hoop over de psychologie, trouwens :-)). Een correlatie van .15 kan misschien een heel belangrijk verband aangeven; anderzijds kan elk verschil kleiner dan een hele standaarddeviatie verwaarloosbaar zijn.

Je kiest je grenswaarden dus zelf. Het belangrijkste is dat je hier voor je studie goed over nadenkt; je kaders expliciet benoemt en onderbouwt; je studie powert op je besluiten; en je na afloop houdt aan die van te voren vastgestelde kaders (ook als dat betekent dat je moet concluderen dat een verband waar je op hoopte, niet bestaat, of vice versa).

Overigens is er een hoop te zeggen voor 99% of zelfs 99.9% betrouwbaarheidsintervallen. Die hebben drie voordelen:

  1. De kans op dat je het onterecht waarschijnlijk acht dat er wellicht een non-triviaal verband bestaat in de populatie (ongeveer een 'Type-1 fout' als je Nul Hypothese Significantie Toetsing (NHST) toe zou passen) wordt lager, ook als je betrouwbaarheidsintervallen uitrekent voor 10, 20, of 50 variabelen of verbanden.
  2. Als je powert op zulke brede betrouwbaarheidsintervallen, aangenomen dat je niet wil dat ze te breed worden, krijg je vanzelf het inzicht dat je veel grotere steekproeven nodig hebt dan de meeste mensen denken. Honderden deelnemers is niet absurd veel voor een studie, zeker niet in de psychologie, waar onze meetfouten relatief groot zijn. Grotere steekproeven betekent meestal beter onderzoek. Werken met bredere betrouwbaarheidsintervallen werkt dus als 'kwaliteitsverhoging' van je onderzoek.
  3. Je conclusies zijn veel zekerder. Als je een 99.9% betrouwbaarheidsinterval vindt voor een correlatie, en dat interval loopt bijvoorbeeld van .31 tot .84, dan weet je heel zeker dat de correlatie niet negatief is, en hoogstwaarschijnlijk ook niet triviaal. Bij een 95% betrouwbaarheidsinterval zijn je conclusies veel, veel zwakker.

Het belangrijkste om te onthouden is: grenswaarden zijn niet zo belangrijk. De houvast die ze bieden omdat ze de schijn van 'hardheid' en 'objectiviteit' hebben is een illusie. Het hanteren van grenswaarden is een subjectieve keuze, die weloverwogen moet worden genomen, en moet worden onderbouwd. De onderbouwing "dat is de conventie" is eigenlijk niet acceptabel: je moet helder hebben waarom je correlaties sterker dan .1 als 'klein' zien en sterker dan .3 als 'middelgroot'. Nu is dit allemaal wat veel gevraagd van bachelorstudenten, en zelfs masterstudenten; ik leg dit vooral uit om duidelijk te maken dat je evenveel recht hebt om een correlatie van .3 als 'klein' te omschrijven, als je hebt om hem/haar als 'middelsterk' te omschrijven. Of, als je in een context werkt waar relatief zwakke verbanden als heel belangrijk zijn, als 'sterk'. Of, als je een klein steekproefje hebt en je betrouwbaarheidsinterval van .08 tot .57 loopt, van 'ergens tussen triviaal en groot in'. Een van de redenen dat grenswaarden niet zo belangrijk zijn is immers dat puntschattingen 0% betrouwbaarheid hebben.

beantwoord 29 juli 2016 door gjp (64,700 punten)
...