Itemanalyse voor vragenlijst met voor- en nameting

Question

Voor mijn masterthesis maak ik gebruik van een Nederlandse vertaling van de MSQL. Deze is op twee tijdstippen afgenomen bij 80 participanten. Ik heb ondertussen een item analyse uitgevoerd met de gegevens van t0 (n80) en een itemanalyse met de gegevens van t1 (n80). Er zitten wat verschillen tussen de Crombach alfa op tijdstip 0 en tijdstip 1. Daarom de volgende vraag.

Is het mogelijk om ook een item analyse uit te voeren waarin alle ingevulde 160 vragenlijsten worden meegenomen?

Je rapporteert op die manier een Crombach alfa gebaseerd  op alle ingevulde vragenlijsten. Op deze manier worden alle vragen 2x meegenomen, met hun eigen waarde op t0 en de waarde op t1. De syntax van de schaal verwachting (4 items) zou er dan zo kunnen uitzien, waarbij de toevoeging a tijdvak 0 aangeeft:

*Itemanalyse t0+t1 van schaal 4 Verwachting*.

RELIABILITY

  /VARIABLES= M4verV2a M4verV9a M4verV18a M4verV25a M4verV2 M4verV9 M4verV18 M4verV25

  /SCALE('verwachting') ALL

  /MODEL=ALPHA

  /STATISTICS=DESCRIPTIVE SCALE CORR

  /SUMMARY=TOTAL.

Tweede vraag betreft het verwijderen van items.

Indien uit deze gezamenlijke itemanalyse naar voren komt dat je de Crombach alfa met 0.5 kunt laten stijgen door M4verV25a te verwijderen. Verwijder je dan vraag 25 in beide sets (t0 en t1) of alleen vraag M4verV25a (dus in de set van T0)?

Kortom ik vraag me af of er haken en ogen zitten aan het uitvoeren van een item analyse op basis van de 160 ingevulde vragenlijsten samen. Kunnen jullie mij hier a.u.b. wat meer informatie over geven?

Met vriendelijke groet,

Josine Görtzen

Answer 1

Het berekenen van een Cronbach's alpha over de meetmomenten heen is geen juist gebruik van de alphamaat. Alpha is een interne consistentiemaat, en gaat ervan uit dat een test herhaaldelijk afgenomen is, en dat de error uitmiddeld tot nul, en ongecorreleerd is met de testscore en dat de error onderling niet gecorreleerd is. Zodra je herhaalde metingen als paralelle metingen gaat meetellen dan schendt je meerdere assumpties van de Cronbach's alpha.

Je kunt de alpha, zoals je al gedaan hebt, het beste per meetmoment vastellen. Ik kan mij ook geen goede reden voorstellen om dan alles te poolen in een nieuwe alpha, behalve dat minstens een van de alpha tegenvalt? Dat kun je dan beter wegzetten voor jezelf als 'helaas pindakaas'. De reden hiertoe is dat je namelijk niet de samengestelde schaal over t0 en t1 gaat gebruiken, en dat de samengestelde alpha dus ook misleidend is; t0 en t1 zullen waarschijnlijk als losse variabelen gebruikt worden, of zelfs bij verschilscores, als het product van losse variabelen behandeld worden. t0 heeft dus een bepaalde mate van meetfout, en t1 heeft een eigen bepaalde mate van meetfout. Daar moet de lezer over geinformeerd worden.

Als je aan wilt geven dat t0 en t1 (dus de betrouwbaarheid van herhaalde metingen) hoog is, dan kun je beter, naast de alpha als maat van betrouwbaarheid van parallele metingen, de test-hertest betrouwbaarheid berekenen. Dit is zo eenvoudig als de correlatie berekenen tussen de schaalwaarden van t0 en t1.

Comments

Bedankt voor het uitgebreide antwoord. Zelf was ik inderdaad van plan om de Crombach alfa op beide tijdstippen te noteren. Ik zal daarnaast een correlatievergelijking uitvoeren tussen moment 0 en moment 1.

Bij het bekijken hoe andere onderzoekers dit hadden aangepakt, kwam ik een onderzoek (masterthesis) tegen waar over beide tijdstippen tegelijk een Crombach alfa was berekend. Vandaar deze vraag om het even te checken. Crombach alfa over twee tijdstippen samen is duidelijk een NO GO.

Groetjes,

Josine