Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Omega, schaalanalyse en multilevel analyse/data

0 leuk 0 niet-leuks
Voor mijn masterscriptie gebruik ik Omega. Hiervoor heb ik gebruik gemaakt van het artikel van Peters (2014) (The alpha and the omega of scale reliability and validity). Ik vraag me af of de werkwijze zoals deze in het artikel wordt beschreven over Omega en schaalstructuur ook gebruikt mag worden bij multilevel data?

Ik heb de oude vakken van statistiek en methoden nog gevolgd, destijds zat er nog geen module bij over multilevel analyse.  Komt de informatie die over multilevel analyse te vinden is op 'Youlearn' van de OU site, bij 'Methoden en statistiek' overeen met wat er aan informatie wordt gegeven in de module 'longitudinal onderzoek'? Zo nee, hoe kan ik evt. aan die informatie komen die over multilevel analyse aan bod komt in de module 'longitudinal onderzoek'?
gevraagd 29 april 2018 in Modeleren (SEM en Multilevel Analysis (mixed methods, HLM)) door 851259746 (140 punten)

1 Antwoord

0 leuk 0 niet-leuks

Wow. Dit is een goede vraag - ik heb hier nog nooit over nagedacht.

Ik zal eerst even de achtergrond op een rijtje zetten.

De gangbare betrouwbaarheidscoefficienten (alpha, omega, GLB, Coefficient H, etc) betreffen allemaal schattingen van de betrouwbaarheid van een operationalisatie waarbij die operationalisatie de volgende kenmerken heeft:

  • De operationalisatie is een meetinstrument (en bestaat dus niet alleen uit stimuli en een procedure, zoals manipulaties, maar naast stimuli en een procedure worden ook responsen geregistreerd);
  • De operationalisatie bestaat uit minimaal drie items, waarbij een item is gedefinieerd als een combinatie van een of meerdere stimuli met een procedure en een responsregistratie;
  • De responsregistraties leveren data die minimaal het ordinale meetniveau hebben (of een kardinaal meetniveau, zoals interval of ratio, als niet met de polychorische correlatiematrix wordt gewerkt; de scaleStructure() functie (deze heette vroeger scaleReliability()) berekent automatisch zowel de coefficienten voor een kardinaal als voor een ordinaal meetniveau). Als responses worden geregistreerd op een nominaal meetniveau, kunnen deze betrouwbaarheidscoefficienten dus niet worden gebruikt om de betrouwbaarheid van de operationalisatie te schatten.

Verder maken de coefficienten nog een aantal aannames over de gemiddelden en covarianties van de verzamelde data; coefficient alpha maakt bijvoorbeeld de aanname van essentiele tau-equivalentie, die bijna altijd wordt geschonden. Maar het gaat hier om de multilevelstructuur in je data.

Als je data een multilevelstructuur hebben, bijvoorbeeld omdat je deelnemers vaker meet, of deelnemers niet onafhankelijk van elkaar zijn, bijvoorbeeld omdat ze in verschillende klassen zitten en/of in verschillende scholen of ziekenhuizen of gezinnen, dan pas je operationalisaties normaal nog steeds toe per deelnemer. Hiervoor zijn immers veruit de meeste operationalisaties ontwikkeld.

Alleen, de samenhang tussen items kan in theorie hoger zijn voor een bepaalde klas/school/gezin dan voor een andere klas/school/gezin. Die differentiele betrouwbaarheid van je operationalisatie wordt genegeerd door de berekeningen om de betrouwbaarheidscoefficienten te schatten.

Ik weet niet precies wat het gevolg is - dit is de grens van mijn intuitief statistisch inzicht. Maar ik heb gelukkig allemaal collega's die hier met wat geluk wel iets zinnigs over kunnen zeggen. Ik zal deze vraag dus aan het doorspelen met het verzoek een antwoord toe te voegen.

beantwoord 29 april 2018 door gjp (63,910 punten)
Dankjewel, dan wacht ik het af wat het antwoord van je collega's gaat zijn :)
Volgens mij verschilt de informatie over multilevelanalyse in 'Methoden en statistiek' niet wezenlijk van wat er straks in longitudinaal onderzoek wordt aangeboden. Het is globaal dezelfde stof maar met wat kleine accentverschillen (bijvoorbeeld meer gericht op longitudinale data, maar op zich maakt dat modeltechnisch niet echt een verschil). In de vierde en vijfde druk van Field staat inmiddels ook veel informatie over multilevelanalyse in SPSS (H20)
Dankjewel. Ik heb nog de derde editie van Field maar ik zag dat de paragrafen redelijk overeenkomen met die van de 5e editie.

En wat zijn de gevolgen voor de schaalanalyse als ik dat via het artikel van Peters doe bij multilevel data (zie evt. ook antwoord gjp) of moet de schaalanalyse toch op een andere manier bij multilevel data?
Omega is nog een beetje een bijzonder geval, omdat het factoranalyse combineert met klassieke testtheoretie (interne consistentie).

Voor zover ik weet is er nog geen 'officiele' literatuur over een multilevel oplossing. Ik heb zelf gepubliceerd met een multilevel factoranalyse om een schaal te beoordelen. Ik kan mij goed indenken (maar, dit is niet eenvoudig!) dat je de factorladingen op basis van een multilevel-confirmatorische factoranalyse gebruikt als input voor de omega. GJP zal waarschijnlijk beter kunnen inzien in hoeverre dit kan, maar ik zie eigenlijk niet in waarom niet. Door een Multilevel CFA kun je factorladingen op het niveau van het individu schatten die 'gezuiverd' zijn van effecten op groepsniveau. Klinkt eigenlijk als een leuk scriptieonderwerp, mocht je daarin geinteresserd zijn ;)
Haha nou ik denk dat ik het maar bij dit scriptieonderwerp houd ;) En welk artikel heb jezelf geschreven met een multilevel factoranalyse om een schaal te beoordelen?
Het artikel is nog in de laatste fase van publicatie; zodra deze online is stuur ik het door!
Dat zou fijn zijn, bedankt!
...