Zijn er onderzoeken die een correlatieanalyse hebben uitgevoerd waarbij de variabelen uitgedrukt zijn in percentages?

Question

In mijn onderzoek bestond een van de variabelen uit (getranscribeerde) reflecties van leerkrachten gecodeerd aan de hand van een coderingsschema. Omdat de transcripts die daarvoor gebruikt zijn enorm uiteenlopen in lengte  waren het aantal coderingen per transcript/ leerkrachten ook sterk uiteenlopend (Bijvoorbeeld een range van 2-84 , wat betekent dat de ene leerkracht 2 uitspraken deden die onder een bepaalde code vielen en de andere leerkracht 84 uitspraken deed). Ik heb daarom (op advies van mijn begeleider) de aantallen (codes per leerkracht) omgezet in een percentage. Aan de hand van deze percentages heb ik de Spearman Correlatie uitgevoerd. Mijn examinator vraagt om een referentie die deze manier van correlatie berekenen onderbouwd. Ik kan echter tot nu toe geen referentie vinden die dit onderbouwd. Kunnen jullie mij hiermee helpen?

Answer 1

Dit zou ik aan je begeleider vragen; die heeft tenslotte een reden om die methode te adviseren, dus daar is vast een bron bij. Die hoef jij niet opnieuw op te gaan zoeken.

Answer 2

Ik schaar mij achter het advies van gjp: de begeleider is in de eerste plaats verantwoordelijk voor de analysekeuze en de ondersteuning daarbij.

Misschien wel handig om op zak te hebben:

Er zijn uiteinlopende methoden om de overeenkomst tussen beoordelaars vast te stellen. Wat je in de vraag beschrijft is iets dat vaak een 'interbeoordelaarsbetrouwbaarheid' genoemd wordt. Hoe deze getoetst wordt hangt af van het type data (meetniveau), maar ook van de specificiteit van de hypothese.

Als bijvoorbeeld exacte overeenkomst noodzakelijk is. Bijvoorbeeld of een specifiek gedrag dezelfde beoordeling krijgt, of dat meerdere beoordelaars exact even vaak een bepaald gedrag observeren, dan zijn de kappa maten geschikt. Bij twee beoordelaars bijvoorbeeld de Cohen's kappa

Als de vraag minder precies is, en de vraag is meer of er een voldoende overeenkomst is, dan zijn de kappamaten ongeschikt, en kun je beter naar correlaties kijken. Hier is het meetniveau leidend. Als de schaal interval of ratio is, dan is een pearson correlatie in de regel de juiste maat. Bij ordinale data kendall's tau of spearman's rho. Denk dus goed na over het meetniveau van je data als je leerkrachten laat turven hoe vaak iets zich voor lijkt te doen.

Een flexibele techniek is het gebruiken van de ICC (intraclass correlation) als maat voor interbeoordelaar samenhang. Deze techniek is sterker dan de correlaties an sich, omdat het ook rekening kan houden met de verschillende segmenten die beoordeeld worden. Deze techniek vereist voorkennis van multilevelanalyse. Lees voor deze techniek misschien wel eerst Muller en Buttner (1994) voor een goed overzicht welke methode voor je hypothese en data geschikt is, want niet altijd is een ICC zinvol

Müller, R., & Büttner, P. (1994). A critical discussion of intraclass correlation coefficients. Statistics in Medicine, 13(23‐24), 2465-2476.