Hoe vergelijk ik sets antwoorden op dezelfde vragen (IPPA, moeder/vader)?

Question

Ik heb een set antwoorden op 12 vragen. Deze zijn zowel beantwoord voor "moeder" als voor "vader", maar de vragen zijn exact hetzelfde, en ook in dezelfde vragenlijst gesteld (en dus op hetzelfde moment beantwoord).

Nu wil ik een vergelijking maken tussen deze antwoorden op deze sets van vragen, maar hoe doe ik dat op een juiste manier? Ik wil graag rekening houden met de verschillen in "antwoordstijl" tussen de respondenten.

De vragen zijn beantwoord middels een likert-schaal, en ik ben me er bewust van dat respondenten niet allemaal dezelfde manier van antwoorden hebben. Is er een manier om de schaal zo te corrigeren/hercoderen dat antwoorden vergelijkbaar worden tussen respondenten?

En welke test voer ik dan vervolgens uit om deze verschillen in kaart te brengen (de moeder/vader verschillen bedoel ik dan).

Comments

Wat bedoel je precies als je zegt "antwoorden vergelijkbaar maken"?

---

Ik bedoel daarmee dat ik het lastig vind om een respondent die wellicht heel conservatief (in het midden) scoort te vergelijken met iemand die alleen extremen invult (die verschillen zie ik duidelijk in mijn data). Als ik scores ga middelen in schalen... dan zijn die extreme scoorders van grotere invloed op mijn means...

Answer 1

Dit betreft validiteit van je meetinstrument. Als in, als je meetsinstrument valide is, representeren de scores de onderliggende latente constructen. Als je op basis van de patronen in je data redenen hebt om aan te nemen dat je meetinstrument eigenlijk niet valide is (en dat is, vrees ik, in de praktijk eerder regel dan uitzondering), dan weet je meestal niet precies wat er fout ging, of beter gezegd: hoe het meetinstrument niet valide is.

Je weet dan ofwel van de gematigde scoorders, ofwel van de extreme scoorders niet van hun 'echte waarde' is.

Vanuit wetenschappelijke integriteit bekeken is dit het equivalent van een scheikundig experiment naar de ontvlambaarheid van zout, waarbij blijkt dat er per ongeluk suiker is gebruikt.

Als dat inderdaad het geval is, dan is de conclusie dus dat de scores die het meetinstrument hebben opgeleverd niet corresponderen met het onderliggende latente construct voor (een deel van) de deelnemers. Je kunt dus geen conclusies meer trekken over dat onderliggende construct, want je weet niet welke mensen daar hoog of laag op scoren (want de scores van je meetinstrument zijn daar dus niet indicatief voor).

In dat geval kun je dus stoppen met analyseren; je weet dan niet voor welke deelnemers je iets over hun hechting kunt zeggen, en kunt dus geen conclusies over hechting trekken.

De les zou dan zijn dat het meetsinstrument eerst moet worden onderworpen aan cognitieve interviews in je doelpopulatie, en pas na een of meer rondes van verbetering klaar is voor echt onderzoek.

Het kan ook dat het instrument wel valide is, maar niet alle deelnemers serieus meededen. Hiervoor heb ik toevallig recent een functie geschreven die een aantal analyses uitvoert en de invulpatronen visualiseert - zie https://r-packages.gitlab.io/ufs/reference/carelessReport.html voor voorbeelden.

Er is in elk geval geen manier om scores te 'hercalibreren' als je niet weet hoe ze precies afwijken (hoe ze 'invalide' zijn).