Wanneer is er sprake van counterbalancing?

Question

In de terugkoppeling van opdracht 1.1.1 wordt gesproken over counterbalancing.

Answer 1

De vraag is gesteld over de verkeerde cursus. In opdracht 1.1.1 van OPE wordt inderdaad in de terugkoppeling gesproken over counterbalancing.

Counterbalancing gebeurt in within-subjects designs, of survey studies. Er doet zich namelijk een probleem voor wanneer in een experiment over tijd iedereen in dezelfde volgorde treatments of observaties krijgt: er kan een ongezien volgorde effect optreden. Wellicht worden mensen al een beetje onderwezen door test A en werkt dat leereffect door in test B. Een counterbalanced design probeert dit op te lossen door de volgorde van treatments en/of observaties te varieren tussen groepen. Een groep kan dan eerst test A en dan test B krijgen, terwijl groep twee dan eerst test B en dan pas test A krijgt.

In een vragenlijstonderzoek gebeurt dit ook dikwijls. In een onderzoek naar levensgeluk en rapportcijfers wil je uitsluiten dat het invullen van al behaalde rapportcijfers diepe droevenis of ongeremde euforie opwekt en zo de vragen over levensgeluk beinvloeden. Vice versa kan ook problematisch zijn. Een counterbalanced vragenlijstonderzoek geeft dan de helft van de respondenten een versie waar men eerst cijfers opgeeft en dan levensgeluk rapporteert, terwijl de andere helft eerst levensgeluk rapporteert en dan pas de rapportcijfers.

Comments

Ron - ik heb me hier altijd iets over afgevraagd. Als je counterbalanced, en dat blijkt nodig te zijn, dan is je validiteit aangetast. De twee 'volgorde-groepen', en eventuele verbanden en effecten in die groepen, zijn dan niet vergelijkbaar. Je moet ze dan apart analyseren. Hierdoor halveert je steekproefomvang en daalt je power. Om van te voren de kans op bruikbare data te optimaliseren, moet je dus poweren op een halve steekproef. Alleen - dan kun je net zo goed een between-subjects design gebruiken. Dat is vast niet het idee. Is counterbalancing dus niet meer een verificatie van je validiteit, dan een oplossing ergens voor?

---

Het is een combinatie van beiden. De counterbalancing wordt gedaan zodat geverificeerd kan worden of er van volgordeeffecten sprake is. Zonder counterbalancing zou dat antwoord aan de wichelroedelopers overgeleverd zijn. De grote hoop is dat er geen volgordeeffecten zijn, en dat de steekproef als geheel kan worden ge-evalueerd. Als er wel volgorde-effecten zijn komen de mixed-feelings: blij dat dit ontdekt is en dat het effect tussen X en Y bekeken kan worden vanuit de volgorde waarin het experiment is aangeboden enerzijds, en sippe tranen vanwege het verlies van power door het halveren van de steekproef.

EDIT: daaraan toevoegend om volledig op je vraag in te gaan. Het is gebruikelijk om bij counterbalanced designs hier in de berekening van het benodigd aantal proefpersonen rekening mee te houden.

---

Het klinkt allemaal vrij deprimerend. Dan zou ik toch maar gewoon sterker poweren :-)

---

Het een sluit het ander gelukkig niet uit :). Het blijft namelijk toch nog een controle voor de interne validiteit; je wilt uitsluiten dat een gerapporteerd efffect toe te schrijven is aan een leer-effect, of volgorde effect. In een studie bij sociale zaken Rijswijk ooit liepen we ook tegen het probleem aan dat mensen vragen naar hun sociale en financiele toestand een impact had op de vragen over levensgeluk later (of vice versa). Meer power lost dat niet echt op, maar doet ook geen extra schade.