Hoe weet je of een vragenlijst 'goed' is om te gebruiken?

Question

Sorry voor mijn vragenlijstbom.

Hoi,
Ik heb een heus schema gemaakt met bijna 20 vragenlijsten die ik gevonden heb in de literatuur passend bij mijn onderzoek. Maar hoe maak ik nu de beste keuze? Ik kijk naar:
- relevantie (past het bij mijn onderzoek qua thema, doelgroep)
- of het door bekende en/of gerenommeerde auteurs is ontwikkeld?
- of de Cronbachs alpha's goed zijn
-of ze praktisch zijn (er zitten er twee bij die je met een computerprogramma moet afnemen), dit werd mij afgeraden, omdat de kans dat studenten het dan ook daadwerkelijk gaan invullen is dan veel kleiner dan dat ze in de klas een papieren vragenlijst invullen).

Moet ik nog ergens rekening mee houden? Tips? …?

Hoor het heel graag!
Ivonne Lipsch-Wijnen

Answer 1

Cronbach's alpha is jammer genoeg geen erg bruikbare maat (zie https://psyarxiv.com/h47fv/ voor meer achtergrond).

Verder is het belangrijk om te onthouden dat correlaties, schatters van betrouwbaarheid, factorladingen, eigenwaarden etc allemaal van steekproef tot steekproef verschillen, zelfs als de steekproeven uit precies dezelfde populatie komen. In de praktijk komen verschillende steekproeven zelden uit dezelfde populatie, dus zullen ze nog meer verschillen. Oftewel: factorstruturen en betrouwbaarheidsschattingen zijn maar zeer beperkt nuttig. Als ze vaak zijn gerepliceerd zijn in verschillende populaties worden ze wel informatief natuurlijk.

Ik zou dus vooral kijken naar:

1. Beschikbaarheid. Nederland en de OU hebben een sterk Open Science beleid. Dat betekent dat we alleen in uitzonderlijke gevallen en met zware onderbouwing in ons onderzoek gebruik maken van materialen en instrumenten die niet ook 'Open Science' zijn, oftewel, gratis beschikbaar voor anderen. Het gebruik van 'proprietary' software plaatst bijvoorbeeld wetenschappers bij armere organisaties of in armere landen buitenspel, wat haaks staat op de principes van open wetenschap. Dit geldt ook voor meetsinstrumenten: kies dus bij voorkeur een meetsinstrument dat gratis te gebruiken is.
2. Validiteit:
   1. Content validiteit: bestudeer de inhoud van de items, en vergelijk dit met de theoretische definitie van het construct waarin je geinteresseerd bent.
   2. Cognitieve validiteit: doe idealiter een of meer cognitieve interviews in je doelgroep om te verifieren dat de vragen in het meetinstrument worden geinterpreteerd zoals de bedoeling is. Dit is zelden zo voor alle vragen, dus het kan nodig zijn vragen te verbeteren. (Dit betekent dat factorstructuren uit eerder onderzoek niet meer 1-op-1 opgaan; maar die zijn sowieso maar van zeer beperkte waarde, omdat het puntschattingen zijn die toch elke keer anders uitvallen).
   3. Divergente validiteit: vergelijk de items ook met de items van de meetinstrumenten van je andere operationalisaties en met de stimuli van eventuele manipulaties. De overap in inhoud kan je al vertellen welke correlaties je gaat vinden - triviale correlaties, omdat ze alleen overlap in inhoud weergeven, en dus van te voren al bekend zijn - maar die kun je achteraf makkelijk verwarren voor evidentie met betrekking tot verbanden.
3. Praktische overwegingen: inderdaad, als paper & pencil de voorkeur heeft, dan vallen sommige meetinstrumenten af.

Auteurs zou ik niet te veel naar kijken. Als die goed zijn, zie je dat terug in de meetinstrumenten. Maar 'gerenommeerde auteurs' zijn niet zelden niet goed, natuurlijk (net als in andere velden in de maatschappij :-)).