Publication bias betekent inderdaad dat onderzoek wordt geselecteerd op basis van iets anders dan kwaliteit van de studie, en dus op basis van iets anders dan mogelijke bijdrage aan onze kennis.
Dit heeft een hoop gevolgen; jij benoemt er een (dit stimuleert onderzoekers om datgene waar wel op wordt geselecteerd te produceren; als er wordt geselecteerd op significante uitkomsten, ga je er daar dus meer van krijgen los van hoe informatief ze zijn).
Een ander gevolg is dat zelfs zonder QRPs, als alle studies met volledige interne en externe validiteit worden uitgevoerd en dus de schattingen van effect sizes in elke studie ongebiased is, de schatting van verbanden op basis van de literatuur wel gebiased is: van alle studies wordt maar een deel gepubliceerd. Effect size schattingen uit de literatuur (uit literatuuronderzoek, bijvoorbeeld zogenaamde systematische reviews of meta-analyses, waarin alle studies die zijn gedaan worden gecombineerd) zijn dus verkeerd: dit zijn altijd overschattingen van hoe sterk de verbanden echt zijn.
Die schattingen worden niet bijgesteld naar beneden, ook niet als de correcte bijstelling naar nul (0) is: met andere woorden, als er geen effect is. Als je in zo'n situatie studies gaat repliceren, vindt je maar in een deel van de studies dezelfde uitkomsten als in de studie die je repliceerd: de literatuur bevat immers geen representatieve "steekproef van alle mogelijke studies", maar een gebiasede steekproef (als gevolg van de selectie, de publication bias).
Dit tweede gevolg betekent overigens ook dat onderzoekers niet goed kunnen bepalen hoeveel datapunten ze nodig hebben om een studie te repliceren: ze hebben immers geen goed idee van hoe sterk het verband is dat ze willen onderzoeken (want de literatuur laat een overschatting zien - het is alleen niet duidelijk hoe sterk die overschatting is). Ook hierdoor wordt replicatie lastiger.