Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Als de manipulatiecheck uitwijst dat mijn manipulatie niet is geslaagd, wat doe ik dan met de reeds geformuleerde hypothesen?

0 leuk 0 niet-leuks
Ik heb een manipulatiecheck uitgevoerd met als uitkomst dat de manipulatie niet is gelukt. De hypothesen zijn echter al geformuleerd met als uitgangspunt dat de manipulatie wel succesvol is geweest. Hoe moet je hiermee omgaan in je onderzoeksrapportage? Hypothesen aanpassen of toch stug door gaan en (uiteindelijk) aangeven dat de hypothesen niet worden ondersteund?
gevraagd 11 november 2017 in Experimenteel Onderzoek (PB0402 en S05281) door Teun Prins (200 punten)

2 Antwoorden

0 leuk 0 niet-leuks
Een manipulatie is een operationalisatie (net als een meetinstrument). Elke toepassing van een operationalisatie in een steekproef heeft een gegeven validiteit en betrouwbaarheid.

Als de betrouwbaarheid laag is, is er meer invloed door toevallige factoren, dus je hebt meer ruis/error in je metingen (als je het over een meetinstrument hebt) of in je beinvloedingen (als je het over een manipulatie hebt).

Als de validiteit laag is, meet je meetinstrument niet het construct waar je dat meetinstrument voor ontworpen/gebruikt hebt (als je het over een meetinstrument hebt), of beinvloedt je manipulatie niet het construct waar je die manipulatie voor ontworpen/gebruikt hebt.

Je manipulatiecheck meet de waarde van het construct dat door de manipulatie beinvloedt zou moeten worden, zodat je kunt verifieren of de manipulatie valide is.

Als blijkt dat de manipulatie niet valide is, dan is het doelcontruct dus niet beinvloedt (aangenomen dat het meetinstrument, waarmee je de manipulatie checkte, valide is).

In dat geval moet je concluderen dat je dataset geen evidentie kan leveren die je hypothesen al dan niet ondersteunt.

Die hypothesen zijn na dataverzameling en analyse dus niet meer of minder waarschijnlijk geworden. Je hebt niets geleerd van de studie.

Je hypothesen kun je niet aanpassen. Die zet je vast voordat je data gaat verzamelen. De hypothesen bepalen immers het ontwerp van je studie, en samen met dat ontwerp de analyses die je uit gaat voeren, en die bepalen je power-analyses en wervingsstrategieen, en vanaf het moment dat je dataverzameling start, kun je je onderzoeksvragen en hypothesen die niet langer aanpassen. Of, dat zou wel kunnen, maar dat is niet integer: dat is wetenschappelijke fraude.

Dus, je resultatensectie wordt dan kort (want je resultatensectie moet altijd beginnen met de verificatie van de validiteit en betrouwbaarheid van je operationalisaties zoals toegepast in je steekproef: als die immers niet valide zijn, dan hoef je verder niets te analyseren). Je concludeert dan dat je manipulatie het doelconstruct van die manipulatie (een van je onafhankelijke variabelen) niet heeft kunnen beinvloedden: en dat je dus ook niets kunt zeggen over de causale invloed van die onafhankelijke variabelen op de afhankelijke variabele (of op een andere variabele).

Omdat je niet precies weet of die manipulatie iets anders heeft gedaan dan de bedoeling was (misschien een ander construct wel heeft beinvloedt) kun je natuurlijk wel nog andere exploratieve analyses doen. Die kunnen echter niets zeggen over de betreffende hypothese, want het design dat je nodig hebt om uitspraken te doen over die hypothese is 'gesaboteert' door de gefaalde manipulatie.

In je discussie is het dus de moeite om eens heel grondig naar die manipulatie te kijken. Duik daarvoor de theorie is, want die zou aanknopingspunten moeten geven om te bedenken waarom de manipulatie die je hebt ontworpen/toegepast niet werkt. Heeft je doelgroep kenmerken die het minder aannemelijk maken dat die manipulatie zou werken? Werkt het psychologische proces waarvan de manipulatie gebruik maakt misschien vooral visueel, maar is het een tekstuele manipulatie? Probeer te zorgen dat deze discussie is ingebed in de theorie/literatuur, en dat je dus niet een beetje zit te 'freestylen'.

In dit soort studies is die discussie van mogelijke verklaringen voor de gefaalde manipulatie heel belangrijk, want je bent de wetenschappelijke gemeenschap zo goed mogelijk op weg aan het helpen om niet de fout te maken die kennelijk in deze studie is gemaakt.

Dat maakt dit soort studies erg interessant: want het ontwerpen van een operationalisatie is doorgaans een grondige procedure, dus meestal kun je er veel van leren als een manipulatie niet werkt.

Daarnaast kan het ook gewoon toeval zijn natuurlijk: ook manipulaties die in principe in 99% van de steekproeven goed werken, werken dus in 1% van de steekproeven niet goed, en je zou net die steekproef te pakken kunnen hebben.

In het kader van het onderwijs zou ikzelf zeggen dat deze zelfde procedure gevolgd moet worden - maar ik examineer dat vak niet, dus het kan zijn dat in het kader van onderwijs de examinatoren besluiten dat je bij wijze van uitzondering wel je hypothesen mag aanpassen, zodat in de beoordeling van het verslag beoordeeld kan worden of je de analysetechnieken goed beheerst. Omdat ik geen examinator ben zal ik deze vraag doorsturen naar de examinatoren, dan kunnen zij een opmerking of antwoord toevoegen om uit te leggen of hier binnen de context van het eindverslag van cursus Experimenteel Onderzoek anders mee om wordt gegaan.

Als dat zo mocht zijn, onthoud dan wel dat dat (i.e. hypothesen aanpassen na dataverzameling) normaal absoluut onacceptabel is: zoals ik zei is het fraude, en dat wordt in de wetenschappelijke wereld heel serieus genomen, vooral sinds "de Stapel affaire". Dus doe dat nooit voor je bachelorthese, masterthese, of ander onderzoek!
beantwoord 12 november 2017 door gjp (63,910 punten)
Hoi Gjalt,

Bedankt voor je uitgebreide en duidelijke reactie. Ik heb de manipulatie meerdere malen gecheckt (kleding/betrouwbaarheid) en kom steeds tot dezelfde conclusie (in mijn steekproef): de manipulatie is niet succesvol geweest. Wellicht net een steekproef getrokken die dit uitwijst? 2 van de 3 hypothesen zijn hierdoor problematisch geworden.

Echter, ik kan me inderdaad ook niet voorstellen dat deze uitkomst, in het kader van de toetsing van analysevaardigheden, wenselijk is. Het toepassen van bijvoorbeeld een Mixed Design om de interactie tussen de condities te bepalen en vervolgens te beargumenteren, heeft nu weinig zin, terwijl dit een essentieel onderdeel is van de analyse. Ben benieuwd wat de examinatoren hiervan vinden.      

Groet,

Teun Prins
0 leuk 0 niet-leuks
Om aan het antwoord van GJ toe te voegen: de analyse van de hypothese dient nog steeds te worden gedaan: ook data die voortkomt uit een experiment dat niet werkt zoals bedoeld levert 'iets' op. Wat dat 'iets' is, en wat er op basis van wel of niet geconcludeerd/geinfereerd mag worden is wat in de discussie uiteengezet zal worden.

Dus: in de resultaten ben je 'blind', je toetst de manipulatie en trekt een statistische conclusie. Je toetst je hypothesen en trekt een statistische conclusie. In de discussie reflecteer je op het geheel, en zeker bij het onderdeel 'limitaties' zul je ingaan op de impact van de niet-geslaagde manipulatie. De dieper je reflecteert de krachtiger de discussiesectie.
beantwoord 14 november 2017 door Ron Pat-El (40,810 punten)
Bedankt, ik ga ermee aan de slag
...