Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks
Een collega heeft een onderzoek laten doen naar de werkdruk in een organisatie. Ik heb de resultaten niet gezien, maar dit gehoord:

70 respondenten waren bereid om mee te doen en vulde de 0-meting in, een per mail toegezonden vragenlijst. Kort na de 1e interventie (individuele begeleiding om om te gaan met werkdruk) kregen de respondenten opnieuw per mail een vragenlijst toegezonden. 48 respondenten vulden de vragenlijst in. Een half jaar na dato volgde een 3e meting om na te gaan in hoeverre de begeleiding nog doorwerkte; 33 respondenten vulden deze in. Zowel na de 1e meting als na de 2e meting waren de resultaten siginficant en gunstig tav de interventie.

Vraag: Is zo'n onderzoek wel bruikbaar met zoveel uitval? En was het wel verstandig om, aangezien werkdruk vaak samenhangt met e-mailoverload, de vragenlijsten per mail toe te sturen?
in Methodologie door (270 punten)

2 Antwoorden

1 leuk 0 niet-leuks
Uitval is helaas heel gewoon in longitudinaal onderzoek. Er zijn vele trucs om uitval te verminderen, maar voorkomen lukt eigenlijk zelden. Onderzoek op data met veel uitval blijft gelukkig wel mogelijk. Of het zinvol is heeft minder te maken met het percentage uitval, en meer met de verschillen tussen uitvallers en overblijvers.

Bij alle uitval is het van belang om op zoektocht te gaan naar systematiek. Zijn uitvallers op basis van demografische informatie te onderscheiden? Zijn er logische redenen tot uitval die tot selection-bias hebben kunnen leiden? Als dit te ondersteunen is met variabelen in de dataset dan is dat mooi, helaas is het vaak het geval dat pas na uitval wordt gerealiseerd dat er respondentkenmerken zijn die tot uitval hebben kunnen leiden, en dat ondersteunende data hiertoe niet in de data te vinden is.

Pas als bovenstaande helder genoeg is zou ik me pas druk gaan maken over de statistische gevolgen van uitval, zoals powerverlies, etc.

De discussiesecties van onderzoek zijn een mooie plek om de afwegingen te bespreken: wat de oorzaken van uitval waren/konden zijn, wat dit zegt over de blijvers, en hoe dit concreet de interpretatie van de onderzoeksuitkomsten kan kleuren. Belangrijk is om redelijk concreet te blijven. Algemeen stellen dat door uitval het onderzoek niet betrouwbaar is zullen lezers niet voldoende achten.

Kort gezegd: tenzij de hele basis van het onderzoek onzinnig is, kan er meestal wel wat gezegd worden over onderzoek, ondanks veel uitval. Uitval is te verwachten in longitudinaal onderzoek en de redenen tot uitval bepalen in grote mate de duiding van de resultaten.
door (59.6k punten)
1 leuk 0 niet-leuks
Kleine toevoeging: het klinkt wel alsof er, mede door de uitval, heel erg weinig power was . . . Het probleem van kleine steekproeven is dat je steekproevenverdeling breder is: de standaardfout van je gemiddelden is immers groter door je kleine n:

$$\text{se}=\frac{\text{sd}}{\sqrt{n}}$$

Door die grote standaardfout is er veel variatie is de effectsize die je vindt. Als er dus geen verband of verschil is in de populatie, is de kans op grote effect sizes in je steekproef veel groter met een kleine steekproef dan met een grote. Bij kleine steekproeven moet je significante uitkomsten dus altijd wantrouwen.

(de redenering dat de effect size groot is, en dat die dus ook aan te tonen is met een kleine steekproef, houdt jammer genoeg geen steek; de kans op een grote effect size in je steekproef is, zelfs bij een effect size van 0 in je populatie, relatief groot als je underpowered bent, waardoor je effect size schatting in een kleine steekproef niet informatief is. Betrouwbaarheidsintervallen lossen dit op natuurlijk!)

Dus, los van de uitval: Als je maar 33 deelnemers hebt, dus 16 of 17 per conditie, dan zijn de uitkomsten niet erg betrouwbaar.

Bovendien heb je gelijk met je theoretische/methodologische punt; het is aannemelijk dat je door de gekozen wervingsmethode deelnemers selecteert op basis van werkdruk. Overigens is het zowel voorstelbaar dat je juist mensen met hoge werkdruk krijgt (relevant onderwerp voor hen) als met lage werkdruk (die hebben er tijd voor); of dat je juist een van deze groepen mist. Hoe dan ook is de methode van werving inderdaad onhandig gekozen.

Ow, en - als er geen controlegroep was, zijn uitspraken over of de interventie werkt natuurlijk sowieso niet mogelijk!
door (77.5k punten)
Er was inderdaad geen controlegroep. Je kunt dus weinig met de resulaten. Pijnlijk, zeker als je bedenkt dat de bewuste organisatie veel geld heeft neergelegd voor dit onderzoek.
Jammer, dan kun je inderdaad geen conclusies trekken. Zelfs als de verschilscore die werd gevonden iets te maken had met de interventie (maar dat weet je niet, want je weet niet hoeveel fluctuaties er over tijd zijn; of je kunt bv alleen regressie naar het gemiddelde observeren; of gewoon meetfout), heb je geen idee welke aspecten van die interventie daarvoor verantwoordelijk waren omdat je geen placebo-conditie had. Het kan dus zijn dat simpelweg een gesprek van een half uur dezelfde effecten bereikt, msch zelfs als dat gesprek wordt gevoerd door iemand die niet is getrained; hier heb je geen idee van, jammer genoeg.
...