Waarom mag een groep bij geplande contrasten niet meerdere keren vergeleken worden?

Question

Mijn vraag gaat specifiek over de laatste regel van het opstellen van geplande contrasten:

"Once a group has been singled out in a constrast it can't be used in another constrast"

Zie Field pg. 446

Wat is het nut van deze regel?

Wat gebeurt er als je deze regel niet volgt?

Stel dat we een experiment hebben met 3 experimentele groepen (E1, E2 en E3) en 1  controlegroep (C1). Waarom zou het in deze situatie fout zijn om volgende contrasten te nemen?

C1 - E1

C1 - E2

C1 - E3

Het is toch logisch dat je de eperimentele condities telkens wil vergelijken met de controle conditie? Maar deze vergelijking overtreedt wel de 3e regel.

Answer 1

Dit heeft te maken met wat Field tamelijk omslachtig aan de hand van taart uitlegt.

Hoewel het erop lijkt dat er allerlei t-test-achtige toetsen worden gedaan om de groepen te vergelijken gebeurt er onder de motorkap iets anders. De totale variantie worden middels de contrasten opgesplitst. In andere woorden: de apriori-contrasttoetsen zijn geen losse toetsen, maar vormen samen een geheel. Het is als een licht op een prisma schijnen; het licht splitst zich op zodat we het licht beter in de losse elementen kunnen evalueren. Contrasten is als een prisma op de totale variantie schijnen; een zelfde kleur 'kan' daarom niet vaker voorkomen; het is al in een eerder contrast 'gesplitst'.

Dus, zoals op bladzijde 448 wordt aangegeven: de controlegroep kan met alle overige condities 'als een gezamenlijk blok' worden vergeleken (doet de controlegroep het slechter dan alle experimentele condities). Vervolgens kunnen stapsgewijs de experimentele condities vergeleken worden. Dus in een verschillende blokken kunnen dezelfde groepen herhaaldelijk gebruikt worden, maar als onafhankelijke te vergelijken unit niet.

Het eerste contrast is de situatie die je schetst: je wilt weten of de controle het beter of slechter doet 'dan de rest'. Dat ene contrast hoort eigenlijk al die hele vraag af te dekken. Verdere specificatie, welke experimentele conditie beter is dan welke andere, wordt dan in andere contrasten opgelost