Vragenlijsten los afnemen of door elkaar?

Question

In de bron 'het maken en controleren van een vragenlijst' worden een aantal tips gegeven om een vragenlijst te construeren. Een belangrijke tip is het door elkaar aanbieden van de vragen die tot bepaalde schalen toebehoren (naast het negatief formuleren van vragen, reverse). In studietaak drie, waarin de relatie tussen leiderschap en burnoutfacetten wordt onderzocht, valt het mij op dat het samenstellingsoverzicht van de items de UBOS gemengd maar wel apart van de CLIO items worden aangeboden. M.a.w. de items binnen de vragenlijst worden willekeurig aangeboden maar de items van de vragenlijsten zelf worden wel apart aangeboden (nummering van elke vragenlijst item begint met 1...) Is het niet beter om de items van beide vragenlijsten ook door elkaar aan te bieden? De deelnemer vult nu in wezen eerst alleen vragen in over leiderschap en daarna over burnout. Waarom is dit zo?

Answer 1

Dit is iets ingewikkelder dan dat het uitgangspunt kan zijn "je moet vragen mengen".

In een vragenlijst meet je vaak verschillende variabelen. De operationalisaties van die variabelen zijn de vragen, en die vragen hebben niet altijd dezelfde antwoordschaal, soms zelfs niet binnen dezelfde variabele/schaal. Neem de directe meting van de drie determinanten in de Reasoned Action Approach (zie https://en.wikipedia.org/wiki/Reasoned_action_approach):

Zoals je ziet verschillen de antwoordschalen zelfs binnen elke variabele. Je ziet bovendien dat de drie determinanten gegroepeerd worden gemeten. Dit is in lijn met de instructies voor de ontwikkeling van RAA-vragenlijsten zoals ze door de auteurs van die theorie worden gegeven. Deze instructies bevatten zelfs aanwijzingen over de volgorde waarin je de variabelen moet meten (en daar zijn goede redenen voor).

Je kunt dus niet stellen dat je altijd items moet mixen.

Tegelijkertijd zijn er heel vaak wel redenen om items te mixen; je wil soms bijvoorbeeld voorkomen dat mensen weten wat je meet, en als je items hebt die erg op elkaar lijken, dan probeer je te voorkomen dat die vlak achter elkaar staan.

Als je een nieuwe vragenlijst ontwikkelt, en je hebt geen specifieke theoretische ideeen over welke items samen gemeten moeten worden, of over de volgorde waarin items gemeten moeten worden, is mengen vaak een goede suggestie - en dit is de context waarin je werkt bij Psychologisch Survey.

Echter, bij bestaande vragenlijsten, zoals bij de UBOS en CLIO, kunnen er redenen zijn om de items apart te houden. Verschillende antwoordschalen kunnen een daarvoor reden zijn.

Lees overigens met betrekking tot het spiegelen (reverse scoring) het artikel over koeien in de regen: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0068967. Zoals je zult zien is die spiegeling ook niet altijd een goed idee.

Bottom line: bij het maken van vragenlijsten is, naast een goed begrip van het theoretisch construct waarvoor je een operationalisatie aan het ontwikkelen bent, ook 'common sense', en denken vanuit de 'invuller', erg belangrijk.

Comments

Bedankt Galt-Jorn, dat zijn duidelijke voorbeelden. Artikel over koeien in de regen is inderdaad interessant. Geeft wel meer duidelijkheid over het reverse scoring.