Kan ik een echt onderzoek doen als eindopdracht voor Psychologisch Survey?

Question

Ik wil al een tijdje een onderzoek uitvoeren, en nu ik bij Psychologisch Survey ben aangekomen, kan dat. Waar moet ik rekening mee houden als ik graag een echt antwoord op mijn vraag wil? Heb ik dan ook toestemming nodig van de ethische commissie?

Answer 1

Het doel van het onderzoekje in Psychologisch Survey is om het hele traject eens min of meer zelfstandig te doorlopen. Daarom verzamel je maar iets van 20 proefpersonen. Dit onderzoekje is een onderwijs-activiteit, en moet je niet zien als wetenschappelijk onderzoek. De uitkomsten van een survey met 20 deelnemers kunnen geen antwoord geven op een onderzoeksvraag.

Als je een vraag hebt waar je graag antwoord op wil geven, zijn er een aantal eisen waar je onderzoek aan moet voldoen:

1. Je moet voldoende 'power' hebben. Dit betekent dat je een redelijke kans moet maken om het verband waar je in bent geinteresseerd ook echt te detecteren. Voor uitleg over power en hoe je die berekent, zie http://oupsy.nl/help/30/hoe-weet-ik-hoeveel-proefpersonen-deelnemers-ik-nodig-heb. Zie voor meer informatie het uitstekende artikel 'Life after p-hacking' op http://ssrn.com/abstract=2205186.
   Een rekenvoorbeeldje. Om 80% kans te maken om een middelgrote correlatie te detecteren, heb je 85 deelnemers nodig. Als je een enkelvoudige regressie uit zou voeren, heb je dus ook 85 deelnemers nodig. Maar, als je een moderatie wil onderzoeken, moet je twee voorspellers en een interactie-term in je model hebben. Deze voorspellers hangen vaak samen. Daardoor neemt je power af (zie http://oupsy.nl/help/258/correlaties-tussen-tussen-predictoren-regressieanalyses voor uitleg). Je kunt uitrekenen hoeveel meer deelnemers je in je studie nodig hebt met de formule:
   $$ N_\text{nieuw}=\frac{N_\text{oud}}{(1 - r^2)} $$ Als je twee voorspellers niet zo sterk samenhangen, laten we zeggen ook met een gemiddelde effectsize van r=.3, dan heb je dus meer mensen nodig:
   $$ N_\text{nieuw}=\frac{85}{(1 - .3^2)}=94 $$ En dan moet je interactie-term er ook nog bij. Omdat we dan al twee voorspellers in ons model hebben, kunnen we het niet meer hebben over de gewone correlatie, maar moeten we het over de multipele correlatie, oftewel R, hebben: de correlatie van de interactieterm met beide gewone voorspellers. Die kun je berekenen door een regressie-analyse te doen waarbij je interactie-term de afhankelijke variabele is, en je gewone voorspellers de voorspellers zijn. Natuurlijk heb je deze data nog niet als je je power-analyses doet, dus laten we er vanuit gaan dat we 10% van onze interactie-term kunnen voorspellen uit onze gewone voorspellers. $R^2$ wordt dan dus 10% (NB: we hebben de kwadratering dus al gedaan!). Als we dit weer in onze formule pluggen, krijgen we:
   $$ N_\text{nieuw}=\frac{94}{(1 - .10)}=105 $$ In dit rekenvoorbeeld heb je dus minimaal 105 deelnemers nodig om 80% kans te hebben om een middelsterk interactie-effect te detecteren. Let wel dat interactie-effecten meestal kleiner zijn dan hoofdeffecten, dus dit is een vrij optimistische schatting. Je kunt natuurlijk besluiten dat je bereid bent om voor Psychologisch Survey ruim 100 deelnemers te werven. Echter, dan ben je er nog niet:
2. Het recht om conclusies te verbinden aan een onderzoek vereist niet alleen dat je voldoende power hebt, maar je moet ook goede meet-instrumenten hebben. In Psychologisch Survey mogen je meetinstrumenten maximaal 10 items per variabele bevatten. Afhankelijk van wat je wil meten kan dat te weinig zijn; veel vragenlijsten zijn immers langer. Als jouw meetinstrumenten voldoende kort zijn, dan is er nog maar één horde over: de ethische toestemming.
3. Je moet ethische toestemming hebben, bij de OU van de commissie Ethische Toetsing Onderzoek (de cETO, zie https://www.ou.nl/web/onderzoek/commissie-ethische-toetsing-onderzoek-c-eto1). Al het onderzoek aan de OU moet formeel deze toestemming verkrijgen voordat het uitgevoerd mag worden: het onderzoekje in Psychologisch Survey valt hier nu nog buiten, omdat:
   1. De vragenlijst zo kort zijn dat de belasting per deelnemer relatief laag is;
   2. Er zo weinig deelnemers zijn dat de totale belasting relatief laag is;
   3. Er, omdat er zo weinig deelnemers zijn, sowieso geen conclusies kunnen worden getrokken (i.e. het betreft geen wetenschappelijk onderzoek, maar primair een onderwijs-activiteit);
   4. Ethisch gevoelige onderwerpen moeten worden vermeden;
   Echter, als je echt conclusies wil trekken, dan heb je voldoende power nodig, en goede meetinstrumenten. Daarom heb je dan wel ethische toetsing nodig.

Als je echt antwoord wil hebben op één of meerdere onderzoeksvragen, dan kun je dat onderzoek beter uitstellen voor je Bachelor- of Masterthese. Het uitwerken van een gedegen wetenschappelijk onderzoek heeft sowieso beduidend meer voeten in de aarde dan het onderzoekje in PS; zie, om een indruk te krijgen van wat onderzoek behelst http://oupsy.nl/op/onderzoek.

Maar, kan ik dan geen pilot doen?

Soms denken mensen dat je met een 'underpowered' studie een indruk kunt krijgen van de effect size, zodat je toekomstig onderzoek goed kunt poweren. Dit is niet waar. De reden is dat de effect size die je vindt in een studie met weinig deelnemers heel sterk kan afwijken van de echte effect size, juist omdat je underpowered bent. Dit wordt uitgelegd op https://www.ma.utexas.edu/users/mks/statmistakes/UnderOverPower.html, waar ik het figuurtje even steel:

De verticale lijn in het midden is de 'echte' effect size. Als je een steekproef neemt, vindt je door steekproeftoeval natuurlijk altijd een lagere of hogere effect size; de kans dat je exact de 'populatie effect size' vindt is 0, als je maar op voldoende decimalen kijkt. De vraag is dus hoe ver je van de populatie effect size af ligt. En dat is een directe functie van je steekproefomvang (of beter gezegd, van je power). Met weinig deelnemers is de kans op grote afwijkingen door toeval veel groter dan met veel deelnemers. Je kunt met een underpowered studie dus nooit een goede indruk krijgen van de effect size die je in een fatsoenlijk gepowerede studie kunt verwachten.

Het doel van een pilot in wetenschappelijk onderzoek is je procedure uit te testen. Hiervoor zijn pilots heel, heel erg waardevol, en zouden ze standaard moeten plaatsvinden bij elke studie. Je kunt fatale problemen zo opsporen voordat je een volledige dataset hebt verzameld die aan die problemen leidt.

Echter, de data die worden verzameld zijn waardeloos. De kleine steekproefomvang die je in een pilot gebruikt maakt dat toevallige variaties een extreem sterke invloed hebben bij totstandkoming van je data. Als je uitzondelijk accurate meetinstrumenten gebruikt (zoals bijvoorbeeld buiten de psychologie, in de natuurkunde of biologie bijvoorbeeld) is je power natuurlijk een stuk hoger, zelfs bij kleinere steekproeven, omdat je meetfout veel kleiner is. In de psychologie kampen we echter met relatief grote meetfouten, waardoor 20 deelnemers te weinig zijn om echt conclusies te kunnen trekken (je power om een middelgrote correlatie te detecteren met 20 deelnemers is 24%).

Het onderzoekje waarmee je Psychologisch Survey afsluit is bedoeld als een soort pilot: zodat studenten het hele traject van onderzoeksvraag tot rapportage kunnen doorlopen. Het feit dat je underpowered bent en dus waarschijnlijk geen significante resultaten zult behalen is ook een goede training, omdat je daardoor wordt gedwongen in je discussie-sectie grondig naar de methodologie van eerder onderzoek te kijken: eerdere uitkomsten kunnen immers ook Type-1 fouten zijn. Het feit dat je underpowered bent is dus geen zwakheid van deze opzet, maar schept juist de gelegenheid een hoop te leren.

Ik wil toch echt antwoorden hebben om mijn vragen!

Als je echt antwoorden wil hebben, dan zit er niets anders op dan te accepteren dat je ook echt onderzoek moet doen, met alle benodigde investeringen van dien. In dat geval adviseer ik je om eerst het stappenplan op http://oupsy.nl/op/onderzoek grondig te bestuderen, je te verdiepen in power analyses (http://oupsy.nl/help/30/hoe-weet-ik-hoeveel-proefpersonen-deelnemers-ik-nodig-heb), en je alvast te verdiepen in de procedures van de cETO (https://www.ou.nl/web/onderzoek/commissie-ethische-toetsing-onderzoek-c-eto1). Bovendien moet je je ambities van te voren bespreken met je begeleider; die moet je toestemming geven. Hij of zij moet begeleider ook maar net de tijd hebben om dit zwaardere traject te begeleiden; zij krijgen namelijk niet meer uren afhankelijk van hoe serieus je dit neemt. Studenten hebben hier ook geen recht op; want nogmaals, het onderzoekje waarmee je PS afsluit is een onderwijs-activiteit, en er zijn duidelijke richtlijnen voor opgesteld. Afwijking hiervan kan alleen bij gratie van toestemming van je begeleider.

Overigens zul je, als je deze route kiest, veel meer tijd nodig hebben voor je PS-onderzoek. Tegelijkertijd win je alvast een hoop tijd die je anders toch in je bachelor- of masterthese zou steken; je leert immers een hoop dat je anders dan toch zou moeten leren. Je investeringen zullen dus zeker hun vruchten afwerpen; maar je moet er wel de tijd en energie voor hebben.