Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks

Ik was de opfriscursus "Onderzoek" aan het doornemen en stuitte op onderstaande tekst: 

"Het is belangrijk stil te staan bij het feit dat onafhankelijk van of je een gevalideerde vragenlijst gebruikt, je altijd de psychometrische eigenschappen hiervan moet controleren door het uitvoeren van een itemanalyse en een factoranalyse. Omdat een vragenlijst in eerdere onderzoeken valide bleek betekent nog niet dat dit ook opgaat voor jouw specifieke steekproef."

Moet dit ook als de steekproef dezelfde populatie is als de steekproef van de vragenlijst (bijv beiden algemene bevolking)? Zo ja en indien er iets anders uitkomt, betekent dit dat een van de steekproeven dus blijkbaar niet de beoogde populatie heeft gemeten?

En doe je dit dan via een CFA? 

Verder las ik:

"Tot slot is het bij gebruik van bestaande vragenlijsten of schalen belangrijk dat je ze gebruikt zoals deze bedoeld zijn. Daarmee wordt bedoeld dat je ze zo veel mogelijk op dezelfde manier afneemt als de originele onderzoekers voor ogen hadden. Het aanpassen of zelfs verwijderen van vragen uit een bestaande vragenlijst zorgt ervoor dat het niet langer een gevalideerde schaal is, of je loopt het risico dat je het construct niet meer correct meet."

Dit verward me. Stel dat er uit de analyse komt dat 1 item in de huidige steekproef inderdaad niet goed lijkt aan te sluiten. Wat moet je dan doen? 

in Cross-sectioneel Onderzoek (OCO, PB08x2) door (1.5k punten)
bewerkt door

1 Antwoord

0 leuk 0 niet-leuks

Allereerst, leuk dat je de opfriscursus Onderzoek gebruikt!

Je haalt 2 aspecten aan die genoemd worden onder "Uitvoering > Gebruik maken van bestaande vragenlijsten"

Belangrijk om je te realiseren is dat validiteit geen eigenschap is van het meetinstrument zelf, maar een eigenschap van een specifieke toepassing van een meetinstrument in een bepaalde situatie. Dit is de reden dat je altijd zelf de validiteit van jouw specifieke toepassing moet controleren.

Ik zie dat het 2e deel dat je aanhaalt uit de opfriscursus (tot slot is het belangrijk dat...) wat stellig is geschreven en ik snap dat dit wat verwarring oproept in combinatie met het stukje wat je eerder aanhaalt. Ik heb dit in de opfriscursus nu wat genuanceerder verwoord. Zie hieronder:

"Hou in gedachten dat resultaten van validatieonderzoek gelden voor een specifieke toepassing van een vragenlijst in een specifieke situatie (dus bij een specifiek gebruik van een test bij een specifieke populatie). Als je beschrijft dat je een gevalideerd meetinstrument gebruikt, geef dan ook aan voor welke populatie dat validatieonderzoek is uitgevoerd en op welke wijze het meetinstrument is afgenomen. In hoeverre dit validatieonderzoek informatief is voor jouw toepassing van het meetinstrument (bij jouw specifieke populatie) is afhankelijk van de mate waarin de kenmerken van het validatieonderzoek overeenstemmen met de wijze waarop jij het meetinstrument gebruikt. Het is daarom handig om meetinstrumenten zoveel mogelijk op dezelfde manier af te nemen als de originele onderzoekers voor ogen hadden. Er kunnen redenen zijn om items aan te passen of te verwijderen bijvoorbeeld omdat bepaalde vragen niet geschikt zijn voor jouw specifieke focus of omdat deze niet goed passen in de Nederlandse context (bijvoorbeeld wanneer je een werkstress-schaal wilt gebruiken om schoolstress te meten of een Amerikaanse politieke schaal in de Nederlandse situatie). Hou daarbij in gedachten dat je dan echter niet meer kunt claimen een gevalideerde vragenlijst te gebruiken."

Wat betreft je specifieke vragen:

Ja ook als jij jouw meetinstrument in dezelfde populatie gebruikt als waar eerder validatieonderzoek naar is gedaan is het altijd goed als jij voor jouw specifieke toepassing van het meetinstrument ook de validiteit van jouw toepassing van het meetinstrument nagaat. 

Het kan idd zijn dat de resultaten van jouw eigen validatieonderzoek verschillen van die van eerder validatieonderzoek. Je moet proberen de resultaten te integreren en proberen te beredeneren aan welke resultaten je meer waarde hecht. Hou in gedachten dat je altijd te maken hebt met sampling variability (dus dat steekproeven van elkaar kunnen verschillen ook al komen ze uit dezelfde populatie). 

Ik zie dat je deze vraag hebt gepost onder de cursus Cross-sectioneel onderzoek. Gaan je vragen specifiek over hoe je bij die cursus de analyses het beste kunt aanpakken? Dan kan namelijk het beste een van de examinatoren van die cursus jouw vraag beantwoorden.

Als je vraag niet over cross-sectioneel onderzoek gaat (maar je zocht een handige categorie om jouw vraag onder te plaatsen), laat het dan nog even weten. Dan reageer ik nog even verder op je specifieke vragen. 

door (2.1k punten)
Bedankt Jenny, ik zocht inderdaad een handige categorie om mijn vraag onder te plaatsen, aangezien er geen kopje voor de opfriscursus bestaat ;). Wellicht had ik hem ook onder BT of MT: methodologie en statistiek bij schaalconstructie kunnen zetten?
Wat betreft je specifieke vraag: het beste is om bij validatieonderzoek (wanneer je een reflectief meetmodel veronderstelt) idd confirmatieve factoranalyse te gebruiken (dat kan in jamovi). In SPSS kun je alleen exploratieve factoranalyse doen (dat zou je kunnen gebruiken als benadering).

Als er uit jouw eigen validatieonderzoek iets anders komt dan uit het eerdere validatieonderzoek dan hoeft dat niet perse te betekenen dat je niet de beoogde doelpopulatie meet. Verschillen kunnen ook komen omdat het meetinstrument net iets anders wordt toegepast (eerder validatieonderzoek bijv uitgevoerd met een papieren vragenlijst terwijl jij een online vragenlijst gebruikt). Of omdat er sprake is van sampling variability.

Hopelijk helpt dit!

(Ik ga er nog wel even achteraan om een aparte categorie aan te laten maken voor de opfriscursus Onderzoek: ik vind het prettig om die scherp en up-to-date te houden dus als er onduidelijkheden zijn dan hoor ik het graag.)

Succes ermee!

Beste Jenny,

in het vak Cross sectioneel onderzoek staat het volgende:

"Als u gebruikmaakt van schalen uit een bestaande (gevalideerde) vragenlijst, kunt u in beginsel gebruikmaken van de schalen zoals aangegeven in de handleiding van de vragenlijst. Bij de rapportage van uw onderzoek (bijvoorbeeld in een artikel) is het voldoende dat u van elke schaal de Cronbach’s alfa vermeldt in de methodeparagraaf. Als alle alfa’s groter zijn dan 0.70 is er meestal geen reden om te twijfelen aan de homogeniteit van de schalen. Als u bij een schaal een lagere alfa aantreft, kunt u overwegen om enkele items te verwijderen."

Hier wordt niet gesproken over ook het uitvoeren van een factoranalyse bij bestaande vragenlijsten. Wanneer doe je dus wel/geen factoranalyse bij bestaande vragenlijsten?

Kun je aangeven welke cursusmaterialen van het vak cross-sectioneel onderzoek je aanhaalt? Dus welke cursusrun betreft het, in welke studietaak staat wat je hierboven benoemt? Dan kan ik beter meekijken.

Dank alvast voor de toelichting!
Mijn excuses. Het betreft: PB0802171822B en dan thema 1.2
Dank voor de toelichting. Je verwijst naar de oude cursus van cross-sectioneel onderzoek. De cursus is enkele jaren geleden gereviseerd. De meeste cursusmaterialen uit die cursus staan in het OpenMenS-boek beschreven; in de opfriscursus Onderzoek verwijs ik als het goed is ook naar die materialen (hoewel ik wellicht wat vergeten kan zijn). Als je meer informatie wilt, raad ik je aan om relevante hoofdstukken uit het OpenMenS te lezen; zie: https://ou-books.gitlab.io/openmens/

Verder is het - als het gaat om een bachelorthese of masterthesetraject - altijd zinvol om nadat jij je goed hebt ingelezen in de materie en bedacht hebt wat op basis daarvan zinvol is, te overleggen met je begeleider hoe hij/zij hierin staat (soms spelen praktische overwegingen ook een rol namelijk bij bepaalde analysekeuzes).

Veel succes ermee! gr Jenny
...