Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Ik heb een niet gevalideerde lijst gebruikt om data te verzamelen.

0 leuk 0 niet-leuks
Mag ik bij de deze data som scoren maken?

Het gaat om 26 vragen die betrekking hebben op kennis en attitude. Moet ik van elke vraag afzonderlijk de data beschrijven?

Groeten,
Abeer
gevraagd 27 november 2018 in Methodologie door Abeer (140 punten)

2 Antwoorden

0 leuk 0 niet-leuks
De vraag is mij niet echt duidelijk, maar de vraag heeft op zich toch een algemeen antwoord, dus ik geef alvast een antwoord.

Alleerst: een vragenlijst altijd gebruiken zoals deze bedoeld is. Als de vragenlijst ontworpen is om de som van 'iets' te berekenen, dan zou ik dat doen. Als je weinig data hebt kan het ook nog zinvol zijn om op itemniveau te werken, maar dat zou ik van het instrument laten afhangen. Als de vragenlijst bedoeld is om kennis en attitude als aparte constructen te behandelen: volg de instructie.

De eerste vraag daarna is eigenlijk wat het betekent om een gevalideerde vragenlijst te hebben. Hier draai ik bewust de vraag om, want hoewel mensen snel geneigd zijn om een vragenlijst niet-gevalideerd te noemen, ben ik er niet zo zeker van of wat men 'gevalideerd' noemt ook daadwerkelijk gevalideerd betekent.

Er zijn allerlei statistische en niet-statistische poorten die een vragenlijst door zou moeten, naar de gelang de vraag. Een vragenlijst die nog niet met statistische methoden getoetst is, maar wel het product is van een lange onderhandeling en breed gedragen consensus onder experts heeft een andere status dan een vragenlijst die ik in de kroeg met willekeurige bezoekers gisteravond in een dronken stupor in elkaar heb geknutseld.

Als de vragenlijst dus op zijn minst face-valide is, en een goede literatuurzoektocht, of een ander transparant proces maakt aannemelijk dat de vragenlijst constructvalide is, dan zie ik weinig problemen met het gebruik van de vragenlijst, mits deze ook getoetst wordt aan de data. Dan nog: gebruik de vragenlijst zoals de maker bedoeld heeft. Knutsel niet zonder onderbouwing zelf nieuwe subschalen in elkaar

Wat veel mensen validatie noemen is eigenlijk weinig meer dan het spelen met betrouwbaarheid, en daar een valideitsvraag uit te puzzelen. Als je twijfelt over de subschalen, bijvoorbeeld omdat je de items goed gelezen hebt en daar eigenlijk een andere logische indeling van items in waarneemt, dan kan een factoranalyse (confirmatorisch, of exploratief) uitkomst bieden. De factoranalyse maakt het mogelijk om de dimensionaliteit van het construct te exploreren of te toetsen, en dat kan dan als onderbouwing dienen om af te wijken van de oorspronkelijke bedoeling. Veel mensen noemen de factoranalyse al een 'validatie'.

Als je vervolgens scores tussen populaties wilt vergelijken, dan is deze validatie niet voldoende. Zie bijvoorbeeld Gregorich (2006) voor een toelichting over hoe het twijfelachtig is om somscores (bijvoorbeeld) tussen groepen te vergelijken, zonder te bewijzen dat de vragenlijst hiertoe in staat is:

Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups? Medical Care, 44, S78–S94.

Dus kort antwoord: als de vragenlijst bedoeld is om somscores op te berekenen, dan zou ik dat doen. Als je wilt weten of de vragenlijst hiertoe geschikt is, en je hebt voldoende grote N om de dimensionele structuur van de vragenlijst te evalueren, dan zou ik dat eerst doen.
beantwoord 27 november 2018 door Ron Pat-El (45,000 punten)
0 leuk 0 niet-leuks

Nog een toegevoegd antwoord: in sommige velden, zoals gedragsverandering, een subveld van de gezondheidspsychologie, worden bijna nooit gevalideerde vragenlijsten gebruikt. Dat komt omdat je meestal de determinanten (e.g. attitude) meet met betrekking tot een specifiek doelgedrag (e.g. het gebruiken van een hoge dosis XTC, zie hier voor een voorbeeld), en dat gedrag vaak niet al is onderzocht, laat staan binnen jouw doelpopulatie.

In dit veld zijn daarom richtlijnen voor hoe je meetinstrumenten ontwikkeld (de Reasoned Action Approach is een goed voorbeeld van hoe je dat kunt doen). Dat zo'n meetinstrument niet is gevalideerd is dus niet erg - sterker nog, dat kan vaak niet.

Verder onderschrijf ik geheel Ron's kritische kanttekeningen bij de manier waarop de termen 'validatie' en 'gevalideerd' te pas en te onpas (maar eigenlijk zelden te pas) worden gebruikt.

Validiteit is in de psychologie een groot probleem. Je kunt nooit echt weten of je meet wat je wil meten. Betrouwbaarheid zegt hier niets over. Een valide meetinstrument kan zowel betrouwbaar als onbetrouwbaar zijn. Als onbetrouwbaarheid is gedefinieerd als een grote meetfout, en meetfout is gedefinieerd als normaal verdeeld en willekeurig, dan is onbetrouwbaarheid te compenseren door meet metingen of deelnemers te onderzoeken; maar als je meetinstrument niet valide is, dan is dat niet op te lossen.

Of een meetinstrument valide is kun je niet bepalen door factor-analyses, of betrouwbaarheidsanalyses, of het opstellen van normtabellen, of het correleren met andere meetinstrumenten (die vier handelingen worden samen vaak als 'validatie' gezien). Je kunt validiteit hoogstens meer of minder aannemelijk maken.

Tot slot: validiteit en betrouwbaarheid zijn geen kenmerken van een meetinstrument, maar van de toepassing van een meetinstrument in een gegeven steekproef. Een vragenlijst om attitude met betrekking tot regenachtig weer te meten kan in Nederland valide en betrouwbaar zijn, maar in Taiwan helemaal niet meer valide zijn (want daar spreken ze over het algemeen geen Nederlands). Taal is een makkelijk voorbeeld, maar dit geldt breder.

Je zult dus, wat de literatuur ook zegt over eventuele validatie van een meetsinstrument, altijd weer moeten kijken naar verdelingen van je items, naar correlaties, en naar factor-analyses, om te verifieren of er niets vreemd gebeurd. Hiervoor zijn geen harde richtlijnen of grenswaarden (die worden sowieso afgeraden): dit is intrinsiek een subjectief proces. Daarom is het belangrijk om je overwegingen helder op te schrijven in een appendix en mee te publiceren, los van wat de status van je meetinstrument in de literatuur is.

beantwoord 30 november 2018 door gjp (69,140 punten)
...