Cronbach's alpha wordt bij de nameting veel lager

Question

Voor een onderzoek heb ik bij 10 proefpersonen 2x de DQoL afgenomen. Hiervan worden 5 subschalen gemaakl. Geen hercoderingen. Ik heb ondertussen alle data en heb een aantal analyses uitgevoerd. En daarbij kom ik iets raars tegen wat ik niet opgelost krijg. Voor de DQoL maak ik de subschalen waarbij ik de reliability bereken met cronbach’s alpha. Bij de nameting doe ik dat ook weer met de scores van de tweede meting. Ik weet niet of dat de bedoeling is maar heb het gedaan. En bij een schaal keldert de cronbach’s alpha van .657  bij de eerste meting naar .108 bij de tweede meting. En dat zie ik niet in de scores terug. Vraag me dus af hoe dat dan kan komen. Een andere schaal keldert van .620 naar .220. Bij de overige schalen is het verschil minder groot.

Resumé:

Is het gebruikelijk om bij twee metingen ook 2 x der reliability te berekenen?

Is er  een verklaring voor het feit dat de waarde zo afneemt terwijl dat niet in de scores is terug te zien?

Ik heb de data nogmaals gecontroleerd, de syntax opnieuw gemaakt, analyses meerdere malen uitgevoerd en in de betreffende somschalen zitten geen items die gehercodeerd moeten worden.

Answer 1

Zonder het design en de vragenlijsten goed te kennen blijft het helaas gissen naar de oorzaak. Waren de respondenten nog serieus betrokken bij nameting, of duurde het dusdanig lang dat concentratie weggezakt kon zijn? Dekken de items die geselecteerd zijn voor nameting wel de juiste lading? (face validity). 

Dessalniettemin: de daling is wel enorm en als dat niet te wijten is aan om te polen items, dan rest er eigenlijk weinig anders dan:

1. inter item correlaties opvragen en de rotte appels eruit vissen (r < .20)
2. construct validiteit grondig onder de loep nemen
3. interne validiteit van het experimentele design zeer kritisch onder de loep nemen