Nog twee toevoegingen op het uitstekende antwoord van Luc.
Ten eerste is de primaire uitkomst van wetenschappelijk onderzoek een of meerdere effect sizes (of liever, betrouwbaarheidsintervallen rond effect sizes). Deze mag je altijd uitrekenen en rapporteren. Om deze reden hoef je trouwens geen hypothesen te formuleren; onderzoeksvragen zijn prima. Je analyse is immers altijd hetzelfde; je bepaalt of er een verband is. Of je van te voren een gerichte vraag stelt of niet, beinvloedt niets (je mag immers sowieso nooit eenzijdig toetsen). Je mag natuurlijk altijd hypothesen formuleren; ze maken het structureren van je inleiding en discussie wel eenvoudiger.
Ten tweede zit de fout het hem niet in het uitvoeren van de berekening, maar in de manier waarop je die rapporteert en interpreteert. Je mag nooit doen alsof een onverwachts verband verwacht was. Bovendien dien je alle verbanden die je rapporteert te bespreken in het kader van de theorie. Voor een onverwachts verband zijn bijna altijd meerdere verklaringen te bedenken; en een daarvan is een Type 1 fout. Bespreek de kans daarop dus ook - het berekenen van betrouwbaarheidsintervallen helpt hierbij.
In het algemeen geldt: hoe meer je rapporteert, hoe beter. Je weet immers nooit van te voren waar nog meta-analyses over uitgevoerd gaan worden, en als iets frustrerend is, is het als mensen onvoldoende informatie geven over belangrijke verbanden.
In het algemeen geldt ook, en dit is misschien wel nog belangrijker: wees integer. Als je niet heel veel power hebt, of iets rapporteert dat je niet in de eerste plaats onderzocht, wees dan heel terughoudend, en wees eerlijk over de status van je bevindingen. Het is veel beter om iets te zeggen in de trant van "tot onze stomme verbazing was er opeens een correlatie tussen A en B en we begrijpen er helemaal niks van" dan je onderzoeksvragen post hoc aan te passen. Zie ook het beleid van het Journal of Experimental Social Psychology (http://www.journals.elsevier.com/journal-of-experimental-social-psychology/news/jesp-editorial-guidelines/):
"It is deceptive to present hypotheses as perfectly precognitive when they aren’t (i.e., avoid HARKing; Kerr, 1998). It is OK for authors to admit they entertained multiple hypotheses, based on multiple theoretical perspectives, without coming down on the side of any one of them – or even to admit that they came down on the side of the wrong one!"
"Good scientific reporting requires access to material that may seem tangential. For example, a manuscript that uses multivariate analysis (e.g., regression, SEM) can still benefit from the basic tables of means and correlations, because these are often necessary to interpret the main findings – a mean may turn out to be close to the minimum, suggesting a floor effect; correlations may reveal multicollinearity problems that are otherwise concealed in the write-up. To keep articles manageable, an article should ideally be backed up with online supplemental material so that evaluators and readers can vet the accuracy of the conclusions."
Zie ook de Stappen voor Onderzoek die ik de studenten die ik begeleid laat toepassen: http://oupsy.nl/op/onderzoek - hier wordt uitgelegd hoe je je gegevens als supplementary resources mee-publiceert.