Moet alles wat enigszins onderzocht wordt gerapporteerd worden?

Question

gegroet,

even een vraagje over wetenschappelijke rapportage in het algemeen.

Soms wordt er via analyses weinig of geen significante (hoofd)effecten gevonden. Dus moet dat gerapporteerd worden. Nu doe je dus al eens wat extra checks met covariaten, om misschien toch één of ander effect te vinden. Maar als blijkt dat al die effecten ook niet significant interessant zijn, moet je dit dan rapporteren?

En zo ja, hoe dan? Moet je bij elke analyse met een andere covariaat de resultaten weergeven? Maar dat betekent dat je telkens moet zeggen dat het niet significant is, met een hoop getalletjes erachteraan.

Volstaat het om te melden dat je het allemaal hebt onderzocht, maar dat je met geen enkele voorhanden zijnde covariaat een significant effect hebt gevonden?

Of zwijg je daar gewoon over? Ik neem aan dat in wetenschappelijk onderzoek er heel wat van die zijdingen onderzocht worden, maar nooit gerapporteerd. Anders krijg je draken van resultaatweergaven in je artikel.

en vooral, (en ik hoop het van harte), is daar een eenduidlig antwoord op te geven?

Bedankt om hier even op te willen antwoorden,

Patrick

Answer 1

Rapporteer alleen datgene dat direkt relevant is. Allerlei zijpaden en uitprobeersels zijn niet een wezenlijk onderdeel van de toetsprocedure. Idealiter (maar de praktijk is nooit ideaal) is al helemaal vantevoren, bij het opstellen van hypothesen, duidelijk welke toetsen worden gedaan, en wordt er niets aan toegevoegd.

Een van de redenen is het gevaar voor posthoc-hypothesen. Spelen met data kan leiden tot het vinden van significante verbanden die niet voorzien waren, en men kan dan naar deze bevindingen toe gaan schrijven. Dit werkt een slechte gewoonte in de hand om 'schat te gaan graven' naar significantie. Dat willen we als wetenschappelijke community niet.

Als de hypothesen een bepaalde toets noodzaken, zoals een covariantieanalyse, en de covariaat covarieert niet, dan is dat relevant voor het beantwoorden van de vraagstelling, en dient gerapporteerd te worden.

Een voorbeeld van achtergrondspielerei die wel, beknopt, gerapporteerd kan worden zijn situaties die voortkomen uit datascreening. Bijvoorbeeld:

- Je heb veel outliers. Je draait een analyse met de outliers, en een analyse zonder de outliers en merkt op dat de conclusies uit de toetsen niet verschillen. Dan kun je benoemen dat je dit gedaan hebt in een enkele zin, en vervolgens stellen dat je bijvoorbeeld vervolgens alle resultaten presenteert zonder het verwijderen van de outliers.

- Relatief veel missing data op enkele predictoren. Je kiest ervoor om missing data te imputeren (duur woord voor 'invullen'). De analyse met missing data levert dezelfde conclusies op als die met 'volledige' data. Idem als boven.

In beide situaties kan het ook gebeuren dat conclusies wel verschillen. Dan heb je 1 of 2 regels extra nodig om toe te lichten voor welke conclusies je hebt gekozen en waarom, en vervolgens presenteer je nog steeds 1 set conclusies.

Kortom: als het niet in de methode bij 'analyse' staat, dan heeft het hoogstwaarschijnlijk geen plaats in de resutatensectie. Als iets niet in het stelsel van hypothesen staat, dan heeft het ook geen plaats in de methode bij 'analyse'.