Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Moet je ook de onderzoeksvraag bespreken bij Resultaten, of alleen manipulatiechecks, cross-overeffecten en hypothesen?

0 leuk 0 niet-leuks
gevraagd 4 mei 2017 in Experimenteel Onderzoek (PB0402 en S05281) door Ivonne Lipsch (2,210 punten)

1 Antwoord

0 leuk 0 niet-leuks
In de resultatensectie van een onderzoek wordt meestal het volgende behandeld:

Datascreening (outliers, verdelingen, missing values, datainvoerfouten) en descriptives van relevante onderzoeksvariabelen (M, SD, en eventueel correlaties) mits zinvol

Eventuele manipulatiechecks

Hypothesen

Eventuele ondersteunende analyses ten bate van hypothesen.

In de discussie kunnen geen resultaten meer besproken worden die niet in de resultatensectie staan, dus het is soms even een beetje spelen met wat je in de discussie wilt zeggen, en eventueel de resultatensectie aanvullen met de daartoe nodige informatie
beantwoord 4 mei 2017 door Ron Pat-El (40,900 punten)

Nog een ander element dat belangrijk is om te noemen in de resultatensectie: de validiteit van de meetinstrumenten. Dit valt eigenlijk samen met de manipulatiechecks: het zijn allebei checks op de validiteit van je operationalisaties. Wat je bijvoorbeeld kunt doen is de volgende kopjes gebruiken:

1) Deelnemers: hier beschrijf je dan je deelnemers. Als je dat in je resultatensectie doet, beschrijf je in je methodesectie bij het kopje 'deelnemers' welke doelgroep je bestudeert, wat voor steekproef je beoogt (e.g. hoeveel deelnemers heb je nodig volgens je power analyses), en welke wervingsstrategieen je gebruikt om een representatieve steekproef te verkrijgen.

2) Data-integriteit: hier beschrijf je de verdelingen, missing values, en outliers. Op basis van deze informatie bepaal je of het aannemelijk is dat je dataverzameling goed is verlopen. Bovendien beschrijf je eventuele outliers (en noteer je die in je analysescript). Alle informatie (alle histogrammen etc) neem je op als supplementary materials (e.g. in een appendix of op het Open Science Framework) zodat de lezer je constateringen kan volgen. Je verdelingen hoeven niet normaal te zijn, trouwens. Dat is bijna nooit nodig. Je bekijkt je verdelingsvormen omdat je de integriteit van je data wil controleren - je wil uitsluiten dat er iets fout ging bij de dataverzameling. Outliers en scheve verdelingen komen gewoon voor, en zijn dus geen reden tot paniek.

3) Validiteit van je operationalisaties

  3.1) Validiteit van je meetinstrumenten: dit zijn bijvoorbeeld factor-analyses en betrouwbaarheidscoefficienten; hierover leer je in Psychologisch Survey (binnenkort Cross-sectioneel Onderzoek).

  3.2) Validiteit van je manipulaties: dit zijn je manipulatiechecks. En cross-over effecten, want dat zijn vormen van manipulatiechecks: het zijn checks op de zuiverheid van je manipulaties.

----- Hier bepaal je of de checks die je in de voorgaande stappen deed, inderdaad bevestigen dat er niets fout ging. Als je validiteit van je manipulatie en/of je meetinstrumenten is geschonden, kun je niet goed conclusies trekken over je onderzoeksvragen of hypothesen. Dat is natuurlijk heel onprettig, maar wel iets dat je wil vaststellen voordat je verder gaat met je analyses natuurlijk.

4) Hypothesen en onderzoeksvragen: Hier doe je de analyses die je van te voren hebt vastgesteld om je hypothesen en onderzoeksvragen te onderzoeken. Als je je studie goed hebt voorbereid of zelfs hebt gepreregistreerd weet je al precies welke analyses je hier moet doen, dus tenzij je data-integriteit is geschonden is ben je snel klaar.

5) Aanvullende/exploratieve analyses: Als je nog andere dingen wil analyseren, bijvoorbeeld als er bepaalde patronen opvielen, dan kun je die analyses apart rapporteren. Omdat de kans dat je patronen vindt door toeval (die dus niet echt bestaan in de populatie) veel groter is bij analyses die je niet van te voren hebt vastgelegd, is de waarde van deze aanvullende/exploratieve analyses veel lager dan die van van te voren vastgelegde analyses. Om die reden moet je ze in je beschrijving scheiden. En je kunt dus niet echt conclusies trekken over je aanvullende/exploratieve analyses.

Zoals Ron zei: je mag in je discussie geen extra analyses bespreken. Zorg dus dat je alles interessante bevindingen in je resultatensectie verwerkt!

Goede toevoeging; wel een kanttekening over de meetrinstrumenten: over het algemeen komen de psymetrische eigenschappen van meetinstrumenten alleen in de resultatensectie, wanneer deze onderwerp van de vraagstelling waren. Anders is het opgeruimder om deze bij meetinstrumenten in de methoden te bespreken

Dit is een goed voorbeeld van verschillen in opvattingen tussen begeleiders :-)

Dit deed ik vroeger ook altijd zo. Alleen - blijkt dat meetinstrumenten geen validiteit hebben . . . Die is anders in elke steekproef.

Meetinstrumenten hebben geen psychometrische eigenschappen in zichzelf: die eigenschappen zijn altijd een interactie met je steekproef. Een makkelijk voorbeeld is taal: een Nederlands meetinstrument werkt anders (niet :-)) in Tibet. Maar taal is subtieler; interpretaties verschillen tussen (sub-)culturen. Als een meetinstrument is gevalideerd in de algemene populatie, en je doet onderzoek met studenten, of ouderen, of recreatief middelengebruikers, of patienten, dan weet je niet zeker of die validiteit generaliseert naar jouw subpopulatie, dus dat moet je altijd checken . . . Factorstructuren repliceren bijvoorbeeld niet altijd in elke steekproef. Zie ook:

We therefore recommend that authors include, and editors and reviewers demand, a paragraph in the ‘Results’ section where authors justify their implicit claim as to the validity of their operationalisations. This would include, for example, EFAs and estimates such as omega for each variable measured using items in a questionnaire. In the supplemental materials, authors ideally include (and editors and reviewers request) the full text of each item, accompanied by correlation matrices and scatter matrices of the items in each scale. Not only will this facilitate replication and provide the opportunity to optimise our scales over time, it will also enable editors, reviewers, and readers to make a judgment about the validity and reliability of the used scales. After all, scale quality – contrary to what the term might seem to suggest – is not a characteristic of a scale as such, but depends on the interpretation of scale scores in a specific study.

http://www.tandfonline.com/doi/full/10.1080/17437199.2015.1124240 (open access)

Dus ik laat studenten altijd de validiteitsinformatie uit eerder onderzoek in de methodesectie zetten, en die dan laten verifieren in de huidige steekproef. Die informatie hoort, net als de gemiddelden uit jouw steekproef, en de manipulatiechecks, in je resultatensectie. Het is eigenlijk een stukje 'pre-resultaten': een verificatie van of alles wel goed ging. Hierbij hoort ook de beschrijving van je steekproef en je datascreening. Oftewel: de analyses die je moet doen voordat je weet of je 'recht hebt' om de analyses te doen die je eigenlijk wil doen :-)

Een tweede reden voor dit advies is dat nu preregistratie 'commonplace' aan het worden is, je een clean cut wil tussen intro+methode en resultaten+discussie. Oftewel: intro+methode bevat dan alleen wat je weet voordat dataverzameling start. Je kunt daar dus nog niets zeggen over je schalen in je huidige steekproef.

...