Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks

Leg in eigen woorden uit hoe publication bias ertoe kan leiden dat een deel van het psychologisch en onderwijskundig onderzoek niet goed repliceerbaar is.

Mijn antwoord: Publicatiebias is het fenomeen dat er de voorkeur aan gegeven wordt onderzoek te publiceren dat ook significante resultaten heeft opgeleverd. Dit kan dubieuze onderzoekspraktijken tot gevolg hebben. En onderzoeken zonder zuivere basis zijn logischerwijze moeilijkere repliceerbaar.

De kringredenering uit het modelantwoord begrijp ik niet zo goed... gepubliceerd onderzoek wordt herhaald en blijkt niet repliceerbaar, door publicatiebias wordt dit tweede onderzoek niet gepubliceerd, dus kan onderzoek niet repliceert worden...?

gerelateerd aan een antwoord op: verwerkingsopdracht 1.1.3 publication bias
in Inleiding Onderzoek (OIO, PB02x2; was Inleiding Data Analyse, IDA) door (220 punten)

1 Antwoord

0 leuk 0 niet-leuks
 
Beste antwoord

Publication bias betekent inderdaad dat onderzoek wordt geselecteerd op basis van iets anders dan kwaliteit van de studie, en dus op basis van iets anders dan mogelijke bijdrage aan onze kennis.

Dit heeft een hoop gevolgen; jij benoemt er een (dit stimuleert onderzoekers om datgene waar wel op wordt geselecteerd te produceren; als er wordt geselecteerd op significante uitkomsten, ga je er daar dus meer van krijgen los van hoe informatief ze zijn).

Een ander gevolg is dat zelfs zonder QRPs, als alle studies met volledige interne en externe validiteit worden uitgevoerd en dus de schattingen van effect sizes in elke studie ongebiased is, de schatting van verbanden op basis van de literatuur wel gebiased is: van alle studies wordt maar een deel gepubliceerd. Effect size schattingen uit de literatuur (uit literatuuronderzoek, bijvoorbeeld zogenaamde systematische reviews of meta-analyses, waarin alle studies die zijn gedaan worden gecombineerd) zijn dus verkeerd: dit zijn altijd overschattingen van hoe sterk de verbanden echt zijn.

Die schattingen worden niet bijgesteld naar beneden, ook niet als de correcte bijstelling naar nul (0) is: met andere woorden, als er geen effect is. Als je in zo'n situatie studies gaat repliceren, vindt je maar in een deel van de studies dezelfde uitkomsten als in de studie die je repliceerd: de literatuur bevat immers geen representatieve "steekproef van alle mogelijke studies", maar een gebiasede steekproef (als gevolg van de selectie, de publication bias).

Dit tweede gevolg betekent overigens ook dat onderzoekers niet goed kunnen bepalen hoeveel datapunten ze nodig hebben om een studie te repliceren: ze hebben immers geen goed idee van hoe sterk het verband is dat ze willen onderzoeken (want de literatuur laat een overschatting zien - het is alleen niet duidelijk hoe sterk die overschatting is). Ook hierdoor wordt replicatie lastiger.

door (77.8k punten)
geselecteerd door
...