Is de Cohen's kappa value index bij een maximale disagreement '0' of '-1'?

Question

Beste Gjalt-Jorn, lezer,

Bij het invullen van verschillende getallen in opdracht 2.4 (onderdeel observatie), viel het me op dat de Cohen's kappa value index '0' is als de verhouding agreement/ disagreement 50/50 is. Bij een maximale disagreement is de waarde '-1'. Bij de uitleg in het werkboek staat echter dat bij een maximale disagreement de waarde '0' is.

Kunt u/ kan iemand dit verduidelijken?

Alvast hartelijk dank!

Vriendelijke groet,

Mariska

Answer 1

Dit vond ik op: 

https://www.tilburguniversity.edu/nl/studenten/studie/colleges/spsshelpdesk/edesk/kappa/

"...Nu kan SPSS Cohen's Kappa berekenen. De kappa kan een waarde hebben van -1 (tegenovergestelde mening) tot +1 (exact dezelfde mening). Als kappa 0 is, dan is er geen overeenstemming tussen de variabelen (c.q. beoordelaars)." 

Answer 2

Rogatio heeft gelijk; kappa kan ook -1 worden. Dit gebeurt echter alleen als er minder overeenstemming is dan je op basis van kans zou verwachten. Dit gebeurt dus nooit in de praktijk: tenzij er iets hele erg fout gaat in de beoordeling (of in situaties waar kappa wordt berekend, maar de verwachting niet is dat de beoordelingen hetzelfde zijn; dan wordt kappa dus voor een ander doel gebruikt).

Het gaat hier dus om de definitie van 'maximale disagreement'. Als je maximale disagreement formuleert als 'het oordeel van de ene beoordelaar geeft geen informatie over het oordeel van de andere beoordelaar', geldt dat je maximale disagreement hebt bij een kappa van 0. Als je maximale disagreement formuleert als 'wanneer mensen consequent anders oordelen', bereik je dat bij -1. De eerste definitie betreft statistische onafhankelijkheid; de tweede meer de 'common sense' definitie van disagreement.