Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks
Soms vind je na de gegevensverzameling heel merkwaardige verbanden in je gegevens. Als je enorme correlatie vindt tussen twee variabelen, maar je had er geen enkele hypothese rond geuit, mag je dat dan achteraf echt niet doen? Een erg grote en flink significante correlatie is toch het rapporteren waard?
in Methodologie door (7.9k punten)

2 Antwoorden

1 leuk 0 niet-leuks

Op http://www.tylervigen.com/ vind je duizenden correlaties die op deze manier zijn 'ontdekt'. Als je in een grote verzameling gegevens de correlaties analyseert in elke combinatie van 2 variabelen, dan vind je gegarandeerd sterke, zeer significante correlaties die echter allesbehalve relevant zijn. Dit heet statistische hengelexpedities of torturing the data till they confess.

Hoe meer bananen kosten in de VS, des te meer vis mensen eten, r = .88, p = .008.

Wel opletten: de gerapporteerde correlaties op die website zijn niet allemaal significant. Vaak is N = 12, dus p < .05 vanaf ongeveer r = .60Er is bijvoorbeeld een significante samenhang tussen de hoeveelheid neerslag in New York en het aantal mensen dat in de Verenigde Staten om het leven komt door geweren en andere grote vuurwapens (r = -.63, p = .03).

Uiteraard springt de rechtgeaarde hengelaar (net als een journalist die een bericht opving van een 'echte' samenhang) rechtstreeks van samenhang naar causaliteit. Hij geeft prompt de overheid het advies om de visconsumptie te doen stijgen door extra taksen te heffen op bananen en om New York kunstmatig te besproeien :)

In mijn werkstukken voor de OU rapporteer ik wel soms eens dat een exploratieve analyse een "merkwaardige samenhang" opleverde, die een bron voor inspiratie kan zijn voor toekomstig onderzoek. Ik heb niet de indruk dat dit steeds gesmaakt wordt door de evaluator van dienst :)

 

door (7.9k punten)
1 leuk 0 niet-leuks

Nog twee toevoegingen op het uitstekende antwoord van Luc.

Ten eerste is de primaire uitkomst van wetenschappelijk onderzoek een of meerdere effect sizes (of liever, betrouwbaarheidsintervallen rond effect sizes). Deze mag je altijd uitrekenen en rapporteren. Om deze reden hoef je trouwens geen hypothesen te formuleren; onderzoeksvragen zijn prima. Je analyse is immers altijd hetzelfde; je bepaalt of er een verband is. Of je van te voren een gerichte vraag stelt of niet, beinvloedt niets (je mag immers sowieso nooit eenzijdig toetsen). Je mag natuurlijk altijd hypothesen formuleren; ze maken het structureren van je inleiding en discussie wel eenvoudiger.

Ten tweede zit de fout het hem niet in het uitvoeren van de berekening, maar in de manier waarop je die rapporteert en interpreteert. Je mag nooit doen alsof een onverwachts verband verwacht was. Bovendien dien je alle verbanden die je rapporteert te bespreken in het kader van de theorie. Voor een onverwachts verband zijn bijna altijd meerdere verklaringen te bedenken; en een daarvan is een Type 1 fout. Bespreek de kans daarop dus ook - het berekenen van betrouwbaarheidsintervallen helpt hierbij.

In het algemeen geldt: hoe meer je rapporteert, hoe beter. Je weet immers nooit van te voren waar nog meta-analyses over uitgevoerd gaan worden, en als iets frustrerend is, is het als mensen onvoldoende informatie geven over belangrijke verbanden.

In het algemeen geldt ook, en dit is misschien wel nog belangrijker: wees integer. Als je niet heel veel power hebt, of iets rapporteert dat je niet in de eerste plaats onderzocht, wees dan heel terughoudend, en wees eerlijk over de status van je bevindingen. Het is veel beter om iets te zeggen in de trant van "tot onze stomme verbazing was er opeens een correlatie tussen A en B en we begrijpen er helemaal niks van" dan je onderzoeksvragen post hoc aan te passen. Zie ook het beleid van het Journal of Experimental Social Psychology (http://www.journals.elsevier.com/journal-of-experimental-social-psychology/news/jesp-editorial-guidelines/):

"It is deceptive to present hypotheses as perfectly precognitive when they aren’t (i.e., avoid HARKing; Kerr, 1998). It is OK for authors to admit they entertained multiple hypotheses, based on multiple theoretical perspectives, without coming down on the side of any one of them  – or even to admit that they came down on the side of the wrong one!"

"Good scientific reporting requires access to material that may seem tangential. For example, a manuscript that uses multivariate analysis (e.g., regression, SEM) can still benefit from the basic tables of means and correlations, because these are often necessary to interpret the main findings – a mean may turn out to be close to the minimum, suggesting a floor effect; correlations may reveal multicollinearity problems that are otherwise concealed in the write-up.  To keep articles manageable, an article should ideally be backed up with online supplemental material so that evaluators and readers can vet the accuracy of the conclusions."

Zie ook de Stappen voor Onderzoek die ik de studenten die ik begeleid laat toepassen: http://oupsy.nl/op/onderzoek - hier wordt uitgelegd hoe je je gegevens als supplementary resources mee-publiceert.

door (77.8k punten)
...