Wat is de meerwaarde in de interpretatie van de output van een planned comparison t.o.v. een post hoc toets bij een gerichte hypothese?

Question

PB0402161733 - Onderzoekspracticum experimenteel onderzoek  Planned Comparisons using SPSS: Ik ben bezig met 11.6.2. in Field en heb dit als experiment geprobeerd met de dataset van de cursus kwantitatieve data analyse die ik voor het tentamen gebruikte. Ik doe hierbij een ANOVA waarbij ik de mate van werkdruk in de voormeting vergelijk tussen artsen in de grote stad, de stad en een dorp. Als ik er vanuit ga dat ik een gerichte hypothese heb dat doktoren in een grote stad meer werkdruk ervaren in de voormeting dan die van de andere twee categoriëen, moet ik volgens Field geen post hoc toetsen doen maar een planned comparison via contrast in SPSS. Als ik de instructie van Field volg en dezelfde gewichten gebruik , werkt dit goed. Ik krijg eerst de contrast coëfficienten te zien en vervolgens de contrast tests. Hieraan kan ik zien dat het contrast tussen artsen in de grote stad en de twee andere categoriëen t=-3,19 heeft met een p=,002. Er is dus een significant verschil. De p-waarde tussen stad en dorp is ,158 en dus niet significant. Hieruit kan ik dus de conclusie (icm met de gemiddelden) dat artsen in de grote stad meer werkdruk ervaren dan artsen daarbuiten en dat dit verschil significant is. Dit lijkt mijn gerichte hypothese dus te bevestigen. Nu weet ik uit de casus dat wanneer je de post hoc toetsen leest, het verschil alleen significant is tussen artsen uit de grote stad en artsen uit de stad en niet tussen artsen uit de grote stad en die uit dorpen. Nu is mijn vraag: wanneer ik dus deze gerichte hypothese zou onderzoeken, dan zou ik in principe dus alleen voor de contrast test kiezen? Ik weet dan wel dat er een significant verschil tussen de grote stad en de rest zit, maar mis ik dan niet cruciale informatie over met welke van de twee andere de grote stad dan verschilt? Of moet ik dan de dorp en stad nog weer via een contrast vergelijken en hoe doe ik dat dan? En wat is dan de meerwaarde van die contrasttesten? Als ik een gerichte hypothese heb, kan ik toch ook gewoon mijn gegevens uit de post hoc toetsen halen en concluderen dat mijn hypothese deels klopt obv de post hoc toetsen?

 

Answer 1

Je vraag is lastig om tot een eenvoudig antwoord te reduceren. Het leidende achterliggende principe is dat men het liefst zo zuinig mogelijk is met het aantal uit te voeren hypothesetoetsen: de angst voor kanskapitalisatie. Dit betekent dat wetenschappers zo min mogelijk toetsen willen doen.

Een van de manieren om het aantal toetsen te reduceren is om 'slim' a-priori (dus vantevoren) uit te denken welke verschiltoetsen eigenlijk relevant zijn, en of er vergelijkingen zijn die niet zo boeiend zijn. Post-hoc is namelijk een dure manier om te zeggen: we gaan alsnog allemaal t-toetsen doen. Om dit op te vangen wordt de p-waarde gecorrigeerd om significantie te bemoeilijken, maar die correctie per uitgevoerde t-toets drukken wel erg de power omlaag.

A-priori de noodzakelijke vergelijkingstoetsen uitdenken heeft dus als voordeel dat er minder powerverlies is, omdat je niet teveel kanskapitaliseert. Een voorbeeld kan bijvoorbeeld zijn: een wetenschapper onderzoekt een nieuwe behandeling. Zij is geinteresseerd in de vraag of de behandelingen beter werkten dan niets, en of de nieuwe behandeling beter is dan al bestaande behandelingen. Met maar drie groepen voelt de noodzaak tot contrasten nog niet zo groot, maar stel dat er vier al bestaande behandelingen zijn. Dan zijn er ineens zes groepen die vergeleken kunnen worden met elkaar: controle, vier bestaande behandelingen, 1 experimentele behandeling. Met een post-hoc toets zouden er vijftien vergelijkingen worden gedaan (dus vijftien t-toetsen in een post-hoc test met correctie). Maar door apriori contrasten op te stellen kan het aantal vergelijkingen tot twee toetsen worden gereduceerd:

1) controle versus rest

2) bestaande behandelingen als geheel tegen experimentele behandeling

Veel meer behoud van power en een zeer geringe toename van type 1 fout. Als de onderzoeksvraag het toelaat heeft apriori contrasten opstellen de voorkeur