hoe bereken ik de interbeoordelaarsbetrouwbaarheid van kwantitatieve data?

Question

Voor mijn scriptie ben ik op zoek naar hoe ik de kantitatieve scores van twee beoorelaars kan toetsen op interbeoordelaarsbetrouwbaarheid.

Beiden beoordelaars hebben een filmpje gecodeerd, wat heeft geleid tot 4 scores (aantal seconden per minuut) per beoordelaar. Nu wil ik iets zeggen over de betrouwbaarheid van deze observaties. Ik heb op internet gelezen dat Cohen's d bij kwantitatieve data niet handig is, maar ik kan nergens vinden wat dan wel.

Answer 1

Bij interrater reliability is het van belang dat er exacte overeenkomst wordt vergeleken. Dit maakt tradionele correlaties niet voldoende. In het geval van observaties die categorisch (of ordinaal) gescoord zijn kunnen het beste Kappa-indexen worden gebruikt. De cohen's Kappa (dus niet de Cohen's d) is een associatiemaat die makkelijk met de hand kan worden berekend en ook in SPSS kan worden uitgevoerd. Bijvoorbeeld: https://statistics.laerd.com/spss-tutorials/cohens-kappa-in-spss-statistics.php

Deze kappa werkt goed in het geval van twee beoordelaars die vergeleken worden. Bij meer beoordelaars laat SPSS het afweten. Er zijn dan meerdere indexen geschikt, waarvan een de Fleisch's kappa is.