Wow. Dit is een goede vraag - ik heb hier nog nooit over nagedacht.
Ik zal eerst even de achtergrond op een rijtje zetten.
De gangbare betrouwbaarheidscoefficienten (alpha, omega, GLB, Coefficient H, etc) betreffen allemaal schattingen van de betrouwbaarheid van een operationalisatie waarbij die operationalisatie de volgende kenmerken heeft:
- De operationalisatie is een meetinstrument (en bestaat dus niet alleen uit stimuli en een procedure, zoals manipulaties, maar naast stimuli en een procedure worden ook responsen geregistreerd);
- De operationalisatie bestaat uit minimaal drie items, waarbij een item is gedefinieerd als een combinatie van een of meerdere stimuli met een procedure en een responsregistratie;
- De responsregistraties leveren data die minimaal het ordinale meetniveau hebben (of een kardinaal meetniveau, zoals interval of ratio, als niet met de polychorische correlatiematrix wordt gewerkt; de scaleStructure() functie (deze heette vroeger scaleReliability()) berekent automatisch zowel de coefficienten voor een kardinaal als voor een ordinaal meetniveau). Als responses worden geregistreerd op een nominaal meetniveau, kunnen deze betrouwbaarheidscoefficienten dus niet worden gebruikt om de betrouwbaarheid van de operationalisatie te schatten.
Verder maken de coefficienten nog een aantal aannames over de gemiddelden en covarianties van de verzamelde data; coefficient alpha maakt bijvoorbeeld de aanname van essentiele tau-equivalentie, die bijna altijd wordt geschonden. Maar het gaat hier om de multilevelstructuur in je data.
Als je data een multilevelstructuur hebben, bijvoorbeeld omdat je deelnemers vaker meet, of deelnemers niet onafhankelijk van elkaar zijn, bijvoorbeeld omdat ze in verschillende klassen zitten en/of in verschillende scholen of ziekenhuizen of gezinnen, dan pas je operationalisaties normaal nog steeds toe per deelnemer. Hiervoor zijn immers veruit de meeste operationalisaties ontwikkeld.
Alleen, de samenhang tussen items kan in theorie hoger zijn voor een bepaalde klas/school/gezin dan voor een andere klas/school/gezin. Die differentiele betrouwbaarheid van je operationalisatie wordt genegeerd door de berekeningen om de betrouwbaarheidscoefficienten te schatten.
Ik weet niet precies wat het gevolg is - dit is de grens van mijn intuitief statistisch inzicht. Maar ik heb gelukkig allemaal collega's die hier met wat geluk wel iets zinnigs over kunnen zeggen. Ik zal deze vraag dus aan het doorspelen met het verzoek een antwoord toe te voegen.
