Nog een ander element dat belangrijk is om te noemen in de resultatensectie: de validiteit van de meetinstrumenten. Dit valt eigenlijk samen met de manipulatiechecks: het zijn allebei checks op de validiteit van je operationalisaties. Wat je bijvoorbeeld kunt doen is de volgende kopjes gebruiken:
1) Deelnemers: hier beschrijf je dan je deelnemers. Als je dat in je resultatensectie doet, beschrijf je in je methodesectie bij het kopje 'deelnemers' welke doelgroep je bestudeert, wat voor steekproef je beoogt (e.g. hoeveel deelnemers heb je nodig volgens je power analyses), en welke wervingsstrategieen je gebruikt om een representatieve steekproef te verkrijgen.
2) Data-integriteit: hier beschrijf je de verdelingen, missing values, en outliers. Op basis van deze informatie bepaal je of het aannemelijk is dat je dataverzameling goed is verlopen. Bovendien beschrijf je eventuele outliers (en noteer je die in je analysescript). Alle informatie (alle histogrammen etc) neem je op als supplementary materials (e.g. in een appendix of op het Open Science Framework) zodat de lezer je constateringen kan volgen. Je verdelingen hoeven niet normaal te zijn, trouwens. Dat is bijna nooit nodig. Je bekijkt je verdelingsvormen omdat je de integriteit van je data wil controleren - je wil uitsluiten dat er iets fout ging bij de dataverzameling. Outliers en scheve verdelingen komen gewoon voor, en zijn dus geen reden tot paniek.
3) Validiteit van je operationalisaties
3.1) Validiteit van je meetinstrumenten: dit zijn bijvoorbeeld factor-analyses en betrouwbaarheidscoefficienten; hierover leer je in Psychologisch Survey (binnenkort Cross-sectioneel Onderzoek).
3.2) Validiteit van je manipulaties: dit zijn je manipulatiechecks. En cross-over effecten, want dat zijn vormen van manipulatiechecks: het zijn checks op de zuiverheid van je manipulaties.
----- Hier bepaal je of de checks die je in de voorgaande stappen deed, inderdaad bevestigen dat er niets fout ging. Als je validiteit van je manipulatie en/of je meetinstrumenten is geschonden, kun je niet goed conclusies trekken over je onderzoeksvragen of hypothesen. Dat is natuurlijk heel onprettig, maar wel iets dat je wil vaststellen voordat je verder gaat met je analyses natuurlijk.
4) Hypothesen en onderzoeksvragen: Hier doe je de analyses die je van te voren hebt vastgesteld om je hypothesen en onderzoeksvragen te onderzoeken. Als je je studie goed hebt voorbereid of zelfs hebt gepreregistreerd weet je al precies welke analyses je hier moet doen, dus tenzij je data-integriteit is geschonden is ben je snel klaar.
5) Aanvullende/exploratieve analyses: Als je nog andere dingen wil analyseren, bijvoorbeeld als er bepaalde patronen opvielen, dan kun je die analyses apart rapporteren. Omdat de kans dat je patronen vindt door toeval (die dus niet echt bestaan in de populatie) veel groter is bij analyses die je niet van te voren hebt vastgelegd, is de waarde van deze aanvullende/exploratieve analyses veel lager dan die van van te voren vastgelegde analyses. Om die reden moet je ze in je beschrijving scheiden. En je kunt dus niet echt conclusies trekken over je aanvullende/exploratieve analyses.
Zoals Ron zei: je mag in je discussie geen extra analyses bespreken. Zorg dus dat je alles interessante bevindingen in je resultatensectie verwerkt!