Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Hoe bepaal je de verwachte overeenkomstige scores (ef) bij het berekenen van Kappa?

1 leuk 0 niet-leuks

Ik zie niet hoe de berekening van de totaal verwachte overeenkomstige scores (ef) tot stand komt? Kan het ook nergens vinden, ook niet in de discussie. Hoe zit dit?

gevraagd 2 juli 2013 in Kwalitatief Onderzoek (oude cursus Observatie & Interview) door 850876861 (130 punten)
bewerkt 2 juli 2013 door gjp

1 Antwoord

1 leuk 0 niet-leuks

Cohen's Kappa is een maat voor overeenstemming tussen twee beoordelaars. Er zijn twee manieren om Cohen's Kappa te berekenen; met het aantal observaties en met de kans op overeenstemming. In het ViP2 programma wordt de eerste methode gebruikt:$$\kappa = \frac{\sum \text{a} - \sum \text{ef}}{\text{N} - \sum \text{ef}}$$terwijl je in andere bronnen vaak de tweede methode tegenkomt:$$\kappa = \frac{\Pr(a) - \Pr(e)}{1 - \Pr(e)}$$In de eerste formule staat $\sum a$ voor het totale aantal overeenkomstige scores, $\sum \text{ef}$ voor het totale aantal verwachte overeenkomstige scores, en $\text{N}$ voor het totale aantal observaties.

In de tweede formule staat $\Pr(a)$ voor de kans op overeenstemming, en $\Pr(e)$ voor de kans die je zou verwachten op basis van toeval. In die tweede formule kun je $\Pr(e)$ berekenen door te kijken hoe vaak ze twee beoordelaars overeenstemming zouden bereiken als ze puur willekeurig zouden beoordelen. Neem bijvoorbeeld dit voorbeeld, waarin twee beoordelaars besluiten of ze de opdracht willen geven aan een aantal bedrijven om hoge-snelheids treinen te leveren voor een traject tussen Amsterdam en Brussel:

    B
    Ja Nee
A Ja 20 5
Nee 10 15


Zoals je ziet zijn beoordelaars A en B het er over eens dat 20 bedrijven de opdracht zouden kunnen krijgen, en dat 15 bedrijven de opdracht niet zouden moeten krijgen. Daarnaast zijn ze het 15 keer oneens. Er zijn dus 50 voorstellen beoordeeld. De kans dat ze het eens waren, is dus:$$\Pr(a) = \frac{20 + 15}{50} = .70$$ De kans dat ze het niet eens waren, kun je berekenen door te kijken naar hoe vaak ze 'Ja' zeiden. Beoordelaar A zei in totaal 25 keer ja; de helft van de tijd dus $$\Pr(ja_A)=\frac{25}{50}=.5$$ Beoordelaar B zei 30 keer ja; dus $$\Pr(ja_B)=\frac{30}{50}=.6$$ De kans dat ze toevallig beiden tegelijk ja zeggen, is dus $$\Pr(e_{ja})=\Pr(ja_A)*\Pr({ja}_B)=.5*.6=.3$$ (Dit kun je ook zien als $50\% \text{ van } 60\% = 30\%$ - immers, de kans dat A ja zegt, is $.5 = 50\%$ - van die $50\%$ zegt B in $60\%$ van de gevallen ook ja, dus $60\% \text{ van } 50\% = 50\% \text{ van } 60\% = 30\%$.)

De kans dat beide beoordelaars nee zeggen, kun je op dezelfde manier berekenen, met de omgekeerde kansen; de kans dat beoordelaar A ja zei, is natuurlijk $$\Pr(nee_A)=1-.5=.5$$ en voor beoordelaar B $$\Pr(nee_B)=1-.6=.4$$ Dat betekent dat je ook de kans uit kunt rekenen dat beide beoordelaars toevallig nee zeggen: $$\Pr(e_{nee})=\Pr(nee_A)*\Pr(nee_B)=.5*.4=.2$$ Door die twee kansen op te tellen, krijg je vervolgens de totale kans op overeenstemming, puur op basis van toeval: $$\Pr(e)=\Pr(e_{ja})+\Pr(e_{nee})=.3+.2=.5$$ Vervolgens kunnen we Cohen's Kappa uitrekenen: $$\kappa = \frac{\Pr(a) - \Pr(e)}{1 - \Pr(e)} = \frac{0.70-0.50}{1-0.50} =0.40$$Als je liever de andere formule gebruikt, kun je natuurlijk deze kansen omrekenen naar aantallen die je vervolgens in de eerste formule kunt invullen. Hiervoor vermenigvuldig je $\Pr(e)$ en $\Pr(a)$ gewoon met $\text{N}$, het totale aantal observaties.

Dit voorbeeld is, um, gebaseerd op http://en.wikipedia.org/wiki/Cohen%27s_kappa

beantwoord 2 juli 2013 door gjp (69,380 punten)
bewerkt 2 juli 2013 door gjp
...