Factoranalyse: hoe omgaan verschillen voor- en nameting?

Question

Ik heb in mijn onderzoek een voor- en nameting verricht met twee vragenlijsten. De factoranalyses laten andere patronen zien. Welk van de twee analyses moet ik aanhouden voor de verdere analyses (toetsing van hypothesen, betrouwbaarheid, etc.?). Want wanneer ik op basis van de voormeting andere items verwijder dan in de nameting en dit laat bestaan, dan is in feite een ander (deel) van het concept meegenomen in de analyses. Dat lijkt me niet zuiver. Of moet ik de keuzes die ik maak op basis van de factoranalyse (voormeting) doortrekken naar de schaal(constructie) van de nameting, los van wat dáár mogelijk uitkomt? Maar ook dat vind ik discutabel. Hoe ga ik hiermee om?

Answer 1

Wat je beschrijft lijkt wat technisch ook wel als volgt genoemd wordt "de vragenlijst is niet configureel invariant". Configurele invariantie betekent dat de dimensionele structuur in twee populaties hetzelfde zouden moeten zijn.

Zie Gregorich (2006) voor een zeer leesbaar overzicht van wat invariantie betekent en waarom het belangrijk is:

Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups? Medical Care, 44, S78–S94. 

Het is lastig om de invariantie van vragenlijsten vast te stellen, en bij niet-invariantie te bepalen wat je moet doen. Ik zou dit nooit op basis van een EFA techniek evalueren, omdat dit niet het juiste instrument daartoe is. Een confirmatieve techniek is beter, en stelt je in staat om te bekijken hoe groot de 'schade' is, en waar dit zich precies voordoet. Als het bijvoorbeeld alleen maar één item is wat niet goed past (bijvoorbeeld omdat de factorlading sterk verandert tussen voor- en nameting), dan is de oplossing om een model te fitten zonder dit item, of om de factorladingen van dit item vrij te schatten (en de andere te constrainen), maar dat wordt al erg geavanceerd. 

Er is geen echt goed en fout meer: kijk of je bij voor en nameting redelijkerwijs dezelfde factorstructuur kan hanteren, en verwijder eventueel bij voor- en nameting items die niet in beide metingen goed functioneren. Doe dit niet blind; houd er rekening mee dat de schaal nog steeds face-/inhouds-/constructvalide moet zijn. Liever wat betrouwbaarheid verliezen dan validiteit.