Cohen's Kappa is een maat voor overeenstemming tussen twee beoordelaars. Er zijn twee manieren om Cohen's Kappa te berekenen; met het aantal observaties en met de kans op overeenstemming. In het ViP2 programma wordt de eerste methode gebruikt:$$\kappa = \frac{\sum \text{a} - \sum \text{ef}}{\text{N} - \sum \text{ef}}$$terwijl je in andere bronnen vaak de tweede methode tegenkomt:$$\kappa = \frac{\Pr(a) - \Pr(e)}{1 - \Pr(e)}$$In de eerste formule staat $\sum a$ voor het totale aantal overeenkomstige scores, $\sum \text{ef}$ voor het totale aantal verwachte overeenkomstige scores, en $\text{N}$ voor het totale aantal observaties.
In de tweede formule staat $\Pr(a)$ voor de kans op overeenstemming, en $\Pr(e)$ voor de kans die je zou verwachten op basis van toeval. In die tweede formule kun je $\Pr(e)$ berekenen door te kijken hoe vaak ze twee beoordelaars overeenstemming zouden bereiken als ze puur willekeurig zouden beoordelen. Neem bijvoorbeeld dit voorbeeld, waarin twee beoordelaars besluiten of ze de opdracht willen geven aan een aantal bedrijven om hoge-snelheids treinen te leveren voor een traject tussen Amsterdam en Brussel:
|
|
|
B |
|
|
|
Ja |
Nee |
|
A |
Ja |
20 |
5 |
|
Nee |
10 |
15 |
Zoals je ziet zijn beoordelaars A en B het er over eens dat 20 bedrijven de opdracht zouden kunnen krijgen, en dat 15 bedrijven de opdracht niet zouden moeten krijgen. Daarnaast zijn ze het 15 keer oneens. Er zijn dus 50 voorstellen beoordeeld. De kans dat ze het eens waren, is dus:$$\Pr(a) = \frac{20 + 15}{50} = .70$$ De kans dat ze het niet eens waren, kun je berekenen door te kijken naar hoe vaak ze 'Ja' zeiden. Beoordelaar A zei in totaal 25 keer ja; de helft van de tijd dus $$\Pr(ja_A)=\frac{25}{50}=.5$$ Beoordelaar B zei 30 keer ja; dus $$\Pr(ja_B)=\frac{30}{50}=.6$$ De kans dat ze toevallig beiden tegelijk ja zeggen, is dus $$\Pr(e_{ja})=\Pr(ja_A)*\Pr({ja}_B)=.5*.6=.3$$ (Dit kun je ook zien als $50\% \text{ van } 60\% = 30\%$ - immers, de kans dat A ja zegt, is $.5 = 50\%$ - van die $50\%$ zegt B in $60\%$ van de gevallen ook ja, dus $60\% \text{ van } 50\% = 50\% \text{ van } 60\% = 30\%$.)
De kans dat beide beoordelaars nee zeggen, kun je op dezelfde manier berekenen, met de omgekeerde kansen; de kans dat beoordelaar A ja zei, is natuurlijk $$\Pr(nee_A)=1-.5=.5$$ en voor beoordelaar B $$\Pr(nee_B)=1-.6=.4$$ Dat betekent dat je ook de kans uit kunt rekenen dat beide beoordelaars toevallig nee zeggen: $$\Pr(e_{nee})=\Pr(nee_A)*\Pr(nee_B)=.5*.4=.2$$ Door die twee kansen op te tellen, krijg je vervolgens de totale kans op overeenstemming, puur op basis van toeval: $$\Pr(e)=\Pr(e_{ja})+\Pr(e_{nee})=.3+.2=.5$$ Vervolgens kunnen we Cohen's Kappa uitrekenen: $$\kappa = \frac{\Pr(a) - \Pr(e)}{1 - \Pr(e)} = \frac{0.70-0.50}{1-0.50} =0.40$$Als je liever de andere formule gebruikt, kun je natuurlijk deze kansen omrekenen naar aantallen die je vervolgens in de eerste formule kunt invullen. Hiervoor vermenigvuldig je $\Pr(e)$ en $\Pr(a)$ gewoon met $\text{N}$, het totale aantal observaties.
Dit voorbeeld is, um, gebaseerd op http://en.wikipedia.org/wiki/Cohen%27s_kappa
