Manipulatie check vergeten mee te nemen in onderzoek. Wat nu?

Question

Ik had voor mijn onderzoek één onafhankelijke variabele met twee levels (low performance or high performance). Toen ik op een gegeven moment met het design bezig was, kwam ik erachter dat de mate van 'fit' tussen een organisatie en individu (eveneens twee levels: low en high) ook meegenomen zou moeten worden, dus toen heb ik mijn experiment uitgevoerd met vier verschillende condities waaraan respondenten willekeurig zijn toegewezen (low performance en low fit; low performance en high fit; high performance en high fit; high performance en low fit). Echter, ben ik er net na mijn dataverzameling achtergekomen dat ik helemaal geen vraag heb opgenomen in de survey van het experiment om de manipulatie van 'fit' te checken, en dat dus alleen voor de onafhankelijke variabele 'performance' heb gedaan. Hoe kan ik nu het beste verdergaan?

Answer 1

Een collega van ons (en dus mede-docent van jou) heeft onlangs een artikel geschreven waarin hij uitlegt dat als je er goed over nadenkt, je eigenlijk geen manipulatiechecks zou moeten gebruiken.

De onderliggende redenering is dat je je manipulaties niet pas ontwikkelt als je ze gebruikt voor een onderzoek. Het equivalent hiervan zou zijn dat je onderzoek doet naar temperatuurverschillen bij verschillende materialen, maar je thermometer pas ontwikkelt terwijl je ook data verzamelt voor de echte studie.

Dat zou natuurlijk ondenkbaar zijn; eerst zorgen dat je over een fatsoenlijk instrumentarium beschikt, voordat je met dat instrumentarium onderzoek kunt doen. Als je eenmaal een thermometer hebt die werkt, hoef je niet meer steeds te checken of die wel werkt.

Bij manipulaties geldt hetzelfde. In psychologisch onderzoek is de manipulatie meestal niet waarin je bent geinteresseerd. De manipulatie is een combinatie van een procedure met nul of meer stimuli die, volgens je theoretisch kader, een verandering in je onafhankelijke variabele zou moeten bewerkstelligen (en niet in andere variabelen). Als het goed is ontwikkel je zo'n manipulatie van te voren, en zorg je dat je weet dat die gaat werken, voordat je hem gebruikt voor je onderzoek.

Hierbij hoort ook dat je er (redelijk) zeker van bent dat hij in je doelpopulatie en voor je doelcontext en doelgedrag gaat werken.

Als dat het geval is, dan heeft een manipulatiecheck relatief weinig meerwaarde.

Als je instrumentarium eigenlijk nog niet klaar was voor de studie die je hebt gedaan (dus, als je nog niet bijna zeker wist dat je manipulatie binnen je context/populatie/gedrag tot de gewenste verandering in de onafhankelijke variabele zou leiden), dan betekent het ontbreken van een manipulatiecheck dat je niet weet of de operationalisatie van je onafhankelijke variabele valide was. Daarmee weet je niet of je design valide was.

Echter, als het goed is kom je manipulatie niet zomaar uit het niets vallen. Ik zou er dus vanuit gaan dat die werkte, en gebaseerd daarop je analyses uitvoeren.

En in de rest van je leven geen studies meer uitvoeren voordat je superveel vertrouwen hebt dat je meetinstrumenten en manipulaties precies werken zoals ze moeten werken :-)

Answer 2

Het verlies accepteren. Het gebeurt helaas nog wel eens dat een essentiele variabele vergeten wordt. Wat niet gemeten is kan niet toegevoegd worden helaas. Het enige wat je kunt doen is roeien met de riemen die je hebt en in de discussie erop terugkomen.

De manipulatiecheck zou eigenlijk moeten gaan om te controleren of je fitmanipulatie een goede operationalisatie was van fit. In de vraag is onduidelijk hoe je fit hebt gemanipuleerd, maar het doel van de check is om te checken of je met je gekunstelde manipulatie ook daadwerkelijk iets in 'fit' hebt gedaan. Het enige dat je dus zou missen is een stukje data dat de validiteit van je manipulatie zou kunnen ondersteunen

Dus run alle analyses zoals je van plan was, en kom in de discussie terug op de validiteit van de fitmanipulatie. Hoewel je geen data hebt kun je nog wel kijken naar zaken zoals inhoudsvaliditeit, face-validiteit, en ecologische validiteit. De manipulatiecheck is eigenlijk maar een van de vele puzzelstukjes.