Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Hoe interpreteer ik de term 'breed' als het gaat over betrouwbaarheid?

0 leuk 0 niet-leuks

Hoe interpreteer ik de term 'breed' als het gaat over betrouwbaarheid in paragraaf 2.4 van Inleiding Data Analyse?
Ik heb de theorie meerdere keren gelezen, maar kan dit onderdeel maar moeilijk eigen maken. Ik loop telkens vast op onderstaande tekst, die zich in mijn beleving lijkt tegen te spreken (Is een brede interval wel of juist niet accuraat? Of worden hier eigenlijk twee verschillende dingen bedoeld?)

Ik kreeg op het discussieforum ook al wat reacties, maar kan daar helaas nog niet helemaal mee uit de voeten.

Hieronder de tekst vanuit Youlearn met daarin onderstreept de zinnen die voor mij tegenstrijdig overkomen:

De ‘betrouwbaarheid’ van het betrouwbaarheidsinterval drukt vertrouwen uit in het principe van het betrouwbaarheidsinterval over oneindig veel herhalingen, en zegt dus niets over de betrouwbaarheid van één enkel interval. Hoewel de betrouwbaarheid van een betrouwbaarheidsinterval niets zegt over de kans dat het populatiegemiddelde in een gegeven betrouwbaarheidsinterval ligt, zijn betrouwbaarheidsintervallen toch heel bruikbaar. Ze geven een duidelijke indicatie van de inschatting van een schatter en bovendien hoe accuraat die schatting is. Die accuraatheid zit in de breedte van het interval: brede intervallen (bijvoorbeeld uit kleine steekproeven) zijn weinig accuraat.

Tot nu toe hebben we het over 95 % 95% betrouwbaarheidsintervallen gehad; maar we kunnen ook 99 % 99% betrouwbaarheidsintervallen berekenen, of 90 % 90% betrouwbaarheidsintervallen. Hoe hoger het percentage, hoe vaker het populatiegemiddelde in het betrouwbaarheidsinterval zal liggen. Als we een 99 % 99% betrouwbaarheidsinterval berekenen, weten we zeker dat het populatiegemiddelde in 99 % 99% van de steekproeven in dat interval zal liggen. Bij een 50 % 50% betrouwbaarheidsinterval weten we zeker dat in een op de twee steekproeven het populatiegemiddelde in het interval ligt (en dus in de helft van de steekproeven ergens buiten het interval). Hoe hoger de betrouwbaarheid, hoe breder het interval wordt. Een 50 % 50% betrouwbaarheidsinterval is dus relatief smal, en lijkt dus accuraat, maar bevat maar de helft van de tijd (i.e. in de helft van de steekproeven) het populatiegemiddelde. Een 99 % 99% betrouwbaarheidsinterval is een stuk breder, en lijkt dus veel minder nauwkeurig, maar bevat wel in bijna alle steekproeven het populatiegemiddelde.

gevraagd 1 december 2016 in Inleiding Data Analyse (IDA) door evavannoot (520 punten)

1 Antwoord

1 leuk 0 niet-leuks

Een hele goede vraag!

Dit is ingewikkeld omdat de breedte van het interval afhangt van drie zaken. Om dit uit te leggen pak ik de formule van het betrouwbaarheidsinterval er even bij:

$$\text{Betrouwbaarheidsinterval} = \text{Steekproefwaarde} \pm \text{Breedte-index} \times \text{Standaardfout}$$

De eerste term in deze formule is het betrouwbaarheidsinterval zelf. Dit is de uitkomst van de formule; dit heeft een gegeven breedte, en bepaalt die breedte dus niet. De breedte van dit interval is nu net waar het om gaat. De tweede term is de betreffende steekproefwaarde, dus de puntschatting, zoals een gemiddelde, standaarddeviatie, of scheefheid. Dit bepaalt hoe hoog of laag het interval ligt op de schaal van de betreffende variabele, en heeft geen invloed op de breedte van het interval.

De breedte van het interval wordt bepaald door de laatste twee termen:

De breedte-index en de standaardfout. Deze twee termen bevatten de drie zaken die de breedte van het betrouwbaarheidsinterval bepalen.

De eerste term is de breedte-index. Deze hangt af van wat voor betrouwbaarheidsinterval je berekent. Als je een 95% betrouwbaarheidsinterval berekent, is dit een kleinere waarde dan als je een 99% betrouwbaarheidsinterval berekent. Meer algemeen kun je stellen dat hoe betrouwbaarder je het interval wil hebben, hoe groter de breedte-index is. Deze grotere breedte-index vertaalt zich naar een breder betrouwbaarheidsinterval (BI). Je interval wordt dus betrouwbaarder (e.g. bij een 99% BI ligt de populatiewaarde er in 99% van de steekproeven in; bij een 99.9% interval in 99.9% van de steekproeven; en bij een 95% interval in maar 95% van de steekproeven) maar minder nauwkeurig (het wordt breder). Het extreemste voorbeeld is een interval waarvan je absoluut zeker wil weten dat de populatiewaarde erin ligt. In dat geval bereken je een 100% betrouwbaarheidsinterval. De breedte-index is dan $\infty$ (oneindig), en je interval is dus oneindig breed (tenzij dat niet mogelijk is; in thema 4 kom je BI's voor correlaties tegen, en een 100% BI voor een correlatie is altijd [-1; 1], want een correlatie kan niet lager dan -1 of hoger dan 1 zijn). Dus, hoe betrouwbaarder, hoe breder het interval. Betrouwbaarheid is goed, dus je wil altijd een zo betrouwbaar mogelijk BI opstellen.

Je wil echter tegelijkertijd dat het interval zo accuraat (nauwkeurig, smal) mogelijk is. Dat is lastig, want hoe betrouwbaarder je het interval maakt, hoe breder het wordt. Hier komen we bij de laatste term in de formule voor het betrouwbaarheidsinterval: de standaardfout.

Die hangt meestal af van twee zaken. De standaardfout hangt altijd af van je steekproefomvang: hoe grote je steekproef is, hoe kleiner de standaardfout is. Bovendien hangt je standaardfout in bijna alle gevallen af van de spreiding in je datareeks. Hoe betrouwbaarder
je meetinstrumenten zijn, hoe kleiner je standaardfout is; en hoe minder spreiding er is in je populatie, hoe kleiner je standaardfout is. Als je heeeeel betrouwbare meetinstrumenten hebt (die hebt je meestal niet in de psychologie en onderwijswetenschappen) of als er heeeeel weinig spreiding is in je populatie (maar daar is meestal veel spreiding in de psychologie en onderwijswetenschappen) is de rol van toeval kleiner. Oftewel, als je je steekproef herhaalt, ga je veel minder variatie hebben in de verschillende waarden voor het gemiddelde, scheefheid, spitsheid, standaarddeviatie etc die je gaat vinden in die opeenvolgende steekproeven. Omdat die waarden van steekproef tot steekproef maar weinig wordt beinvloedt door toeval kun je ze accuraat schatter, wat zich uit in lage standaardfouten en dus smalle betrouwbaarheidsintervallen.

Echter, zoals ik aangaf zijn meetinstrumenten die op mensen worden toegepast meestal relatief onbetrouwbaar (in vergelijking met meetsinstrumenten die op temperaturen en gewichten worden toegepast), en bevatten de variabelen die we onderzoeken meestal veel spreiding in de populatie (want als iedereen bijna hetzelfde zou scoren in de populatie, dan zou de variabelen het onderzoeken amper waard zijn).

Dat betekent dat de enige manier om smallere betrouwbaarheidsintervallen te krijgen is door de steekproefomvang te vergroten. Dit is de sleutel: hiermee kun je accurate en betrouwbare betrouwbaarheidsintervallen krijgen. In thema 4 (studietaak 4.7) komt dit weer aan bod: je kunt uitrekenen hoeveel deelnemers je nodig hebt om een betrouwbaarheidsinterval met een gegeven betrouwbaarheid op een gegeven breedte ('smalte') te krijgen.

Dus, het verwarrende zit hem er in dat accurate (smalle) betrouwbaarheidsintervallen wenselijk zijn; maar dat betrouwbaarheidsintervallen met een hoge betrouwbaarheids ook wenselijk zijn; en dat die haaks op elkaar staan, tenzij je de steekproefomvang kunt verhogen.

Als je een interval hebt met een gegeven breedte (bijvoorbeeld van 3 tot 8 in een variabelen die van 1 tot 10 loopt) dan zijn er twee mogelijkheden:

  • Of het is een BI met een hoge betrouwbaarheid (e.g. 99.9%). In dat geval weet je dat het betrouwbaarheidsinterval uit een relatief grote steekproef komt (of dat er uitzonderlijk precies is gemeten, dus met een zeer betrouwbaar meetinstrument - dit is ook verwarrend realiseer ik me nu - dit is een ander soort betrouwbaarheid, hoewel ze wel gerelateerd zijn. Maar het gaat te ver om hier nu ook nog op in te gaan).
  • Of het is een BI met een lage betrouwbaarheid (e.g. 80% of 95%). In dat geval weet je dat het betrouwbaarheidsinterval uit een relatief kleine steekproef komt (of dat er geen onnauwkeurig is gemeten).

Dus:

  • Betrouwbaarheid is goed: je hebt altijd liever een 99.99% BI dan een 95% BI.
  • Smalle intervallen zijn goed: hoe smaller het interval, hoe accurater je kunt zeggen wat plausibele populatiewaarden is.

Omdat hogere betrouwbaarheid (wenselijk) zich manifesteert in breder intervallen (onwenselijk) kan dit verwarrend zijn. De oplossing is: grotere steekproeven, zodat je smalle intervallen kunt maken en dus accurate schattingen kunt doen (wenselijk) met hoge betrouwbaarheid (wenselijk).

beantwoord 1 december 2016 door gjp (64,700 punten)
bewerkt 1 december 2016 door gjp
Dankjewel voor de uitgebreide toelichting!!
...