Hoe ga je om met manipulatiechecks in een onderzoek?

Question

1. Hoort een manipulatiecheck opgenomen te worden in een onderzoeksontwerp?

2. En als je geen preliminaire vragen hebt gesteld aan respondenten om na te gaan of de manipulatie het beoogde effect heeft gehad, of onbedoeld een effect heeft gehad op een andere variabele dan de beoogde, kun je dat dan op de een of andere manier repareren?

3. Zijn manipulatiechecks verplicht bij een experiment (ik snap dat het wel wenselijk is)?

Comments

4. En hoe neem je manipulatiechecks op in je rapportage? Beschrijf je bijvoorbeeld de vragen die je hebt gesteld? Hoe uitgebreid is gebruikelijk?

Answer 1

Of manipulatiechecks moeten worden opgenomen is van onderzoek tot onderzoek verschillend. Een manipulatiecheck kan alles zijn, en hoewel niet 'verplicht', kan het soms erg lastig zijn om conclusies te trekken als er geen data is om alternatieve conclusies onaannemelijk te maken. Als de nodige data ontbreekt, dan kan er achteraf enkel nog het hoofd worden gekrabt, en in de discussie bij 'limataties' gereflecteerd te worden op hoe dit gemis de conclusies van de studie nuanceert.

Een manipulatiecheck kan vele vormen aan nemen. Soms is het een theoretische check (ik wil het werkgeheugen van iemand belasten, maar heb ik dat ook gedaan?), soms is het een randvoorwaarde controleren (ik laat iemand stigmatiserende informatie lezen over diens etniciteit, maar identificeert deze proefpersoon zich uberhaubt met die etniciteit?), en soms zo simpel als vragen of het experiment uberhaubt geloofd is (geloofde u dat u door de computer met medestudenten in contact werd gebracht?)

Welke vorm de manipulatiecheck ook aan zal nemen: bij Methoden zal ergens, meestal bij meetinstrumenten (en procedure) beschreven worden hoe de manipulatiecheck geoperationaliseerd was (en in procedure: waar in het experiment aangeboden). Bij de resultaten zal deze besproken worden, vaak voorafgaand aan de hypothesetoetsing. In de discussie zal de check vervolgens meegebracht worden in het bediscussieren van de studieuitkomsten en de generalisatie ervan naar buiten het experiment