Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Verwijderen respondenten aan de hand van manipulatiecheck

0 leuk 0 niet-leuks
Beste,

Wij hebben voor ons onderzoek een experimentele manipulatie uitgevoerd met 2 condities (positief en negatief) waarna 2 manipulatiecheck vragen. 1. Bevatte de boodschap positieve argumenten? 2. Bevatte de boodschap negatieve argumenten? (9 punts schaal)

Nu bleek de manipulatie geslaagd. De groepsgemiddelden zijn significant verschillend in de juiste richting. So far so good. Hier was de manipulatiecheck ook primair voor bedoeld.

Maar het is tevens de opdracht om aan de hand van de manipulatie check, individuele respondenten te verwijderen die niet konden aangeven welke manipulatie ze hadden gekregen. Dit in verband met het feit dat er een (ongewenste) mogelijkheid was in het online onderzoeksplatform dat respondenten direct konden doorklikken gedurende de manipulatie zonder dat ze daadwerkelijk de boodschap hadden gelezen/gehoord.

Nu blijken er in de negatieve conditie heel veel respondenten te zijn (44 van de 140) die aangaven dat de boodschap helemaal geen negatieve argumenten bevatte (optie 1 op 9 punts schaal). Daarnaast kozen 11 respondenten optie 2.

Ik vind het nogal wat om al deze 44 respondenten zomaar te verwijderen! Het zijn er ten eerste nogal veel en ten tweede is het ook niet zeker of deze mensen daadwerkelijk de manipulatie niet hebben meegekregen. Het zou kunnen dat de manipulatie 'onbewust' toch zijn werk heeft gedaan, maar dat dit niet expliciet kon worden benoemd. Ook zou het kunnen dat de vraag verkeerd is geïnterpreteerd. Daarnaast is het onduidelijk wat precies het afkappunt zou moeten zijn.

Vraag: Wat is wijsheid?

De respondenten behouden en mogelijk een verzwakt/vertekent beeld accepteren?

Of toch verwijderen en een sterk verkleinde steekproef accepteren? Welk afkappunt hanteren we dan best?

Alvast dank voor de reactie.
gevraagd 17 juni in Anders door Mpvanvelzen (320 punten)

1 Antwoord

0 leuk 0 niet-leuks

Wat wijs is is niet zo makkelijk te beantwoorden. Dit klinkt helaas als een (herkenbare) situatie van 'back to the drawing-board'.

Als deze respondenten aangaven dat de inductie van een negatieve staat gefaald is, dan heeft het weinig zin om de fantasie in leven te houden dat de negatieve manipulatie geslaagd is. 

Net als met alle situaties waarin het onduidelijk is wat het gevolg is van een dataprobleem, zoals outliers, e.d. is het devies: run de analyse tweemaal. Eén keer zonder de mensen die de manipulatie wantrouwden, en een keer met alle respondenten. Als de uitkomsten niet verschillen, dan kun je beter de cases verwijderen en in de discussie reflecteren op je powerverlies. Je hebt dan in ieder geval je populatie goed gedekt (liever een vergrote type-2 fout, dan bedreiging van interne validiteit). Je kunt in een voetnoot opnemen dat je analyse niet afwijkt wanneer je deze cases behoudt.

Verschillen de uitkomsten wel? Dat is dan een beetje (erg veel) pech. Dan is het handig om goed na te denken over het design. En dan op je gevoel te kiezen voor verwijderen of niet (en dan nog steeds dit duidelijk maken in een voetnoot). Mijn gut-feeling zegt dat je het beste altijd de cases kunt verwijderen. Als de respondenten de manipulatie niet geloofd hebben, of deze niet als negatief ervaren hebben, dan behoren ze niet meer tot de doelpopulatie van mensen die een negatief stimulus aangeboden hebben gekregen. Als ze niet tot de doelpopulatie behoren, dan behoren ze ook niet in de steekproef opgenomen te zijn (die uit de doelpopulatie getrokken dient te worden).

In de discussie is er dan ruimte om in te gaan op de oorzaak van dit probleem. Kijk nog eens heel goed naar het design, en de aangeboden stimuli. Dat zijn dan de lessen voor toekomstig onderzoek. 

beantwoord 17 juni door Ron Pat-El (39,820 punten)

Dank voor het antwoord. Ik heb echter nog een vraag.

Zo is er bijvoorbeeld geen goed afkappunt om respondenten te selecteren voor verwijdering. De schaal loopt van 1: helemaal geen negatieve argumenten tot 9: heel veel negatieve argumenten. De rest van de waarden had geen label. Wanneer is het te laag? Het is nogal arbitrair en niet heel wetenschappelijk om maar wat te 'kiezen'. 

Of moet het in relatie worden gezien tot de positieve check? Dus een respondent van de negatieve conditie verwijderen als diegene een hogere score heeft op de positieve manipulatiecheck in vergelijking met de negatieve? Lijkt me methodologisch echter niet in de haak gezien de volgorde van de vragen en het feit dat men niet terug kon om het antwoord eventueel te veranderen.

Wat denkt u hiervan? Wat moeten wij gebruiken als afkappunt?

(Voor de duidelijkheid. Wij hebben niet getracht een negatieve staat te induceren, maar wij vergelijken het effect van een 'gain-framed' met een 'loss-framed' voorlichtingsbericht op de intentie om bepaald gedrag te vertonen. Het gaat er ook niet om of ze het geloofden of niet, maar het is een check of de respondenten het bericht uberhaupt wel hebben gelezen/gehoord.)

Alvast hartelijk dank.

Eigenlijk zijn alle afkappunten arbitrair, dus ik zou vooral gebruik maken van eigen inzicht. Hoewel het als een statistische kwestie klinkt betreft het eigenlijk een theoretische kwestie. Schat naar eigen inzicht in welke afkappunten het beste de doelpopulatie reflecteren.

Dit klinkt niet wetenschappelijk, maar het is het juist wel. Statistiek, en dan vooral vuistregels daarbinnen, kunnen al snel tot een schijnprecisie leiden. Het zoeken naar objectieve criteria maakt het makkelijk om de verantwoordelijkheid van de keuze af te schuiven op iets abstracts, maar de praktijk is dat de bestaande vuistregels nooit bedoelt zijn om zo gebruikt te worden. De vuistregels zijn altijd bedoeld als een richtlijn om het gevoel op te ijken. Hoe raar het ook klinkt, statistische richtlijnen, zoals p < .05, of p < .001, e.d. zijn volkomen arbitrair, en er is geen enkele objectieve reden onderliggend aan deze richtlijnen. Pearson heeft ooit 5% als significantiegrens aangewezen, waarschijnlijk omdat de mens 5 vingers aan iedere hand heeft en daarom een voorkeur heeft voor 5- en 10-tallen. Dus onderbouwd op je gevoel afgaan, en dit gevoel transparant in je verslag onderbouwen is juist perfect wetenschappelijk.

Dank voor dit antwoord. Helder!

Ik kan er mee verder.  smiley

...