verwerkingsopdracht 2.2.1

Question

Op alle design-opties van deze vraag had ik het andere gekozen dan wat het officiële antwoord van You Learn aangeeft, maar ik begrijp niet welke logica men gevolgd heeft om tot het antwoord van You Learn te komen. 

1. Cross-sectioneel >< longitudinaal. 

Ik begrijp niet waarom het officiële antwoord stelt dat er een longitudinale studie zou nodig zijn. 

In mijn uitwerking had ik gekozen voor een cross-sectioneel design met 1 meetpunt in de tijd (het moment van beoordeling van prestaties) waarop de prestaties beoordeeld worden. Naar mijn inschatting blijven alle andere variabelen onveranderd in de tijd en lijkt het me dan ook zinloos om op meerdere punten te gaan meten, tenzij je dat over een periode van meerdere jaren plant te doen. (waarom zou je in godsnaam een nulmeting doen bij de start van het schooljaar als het enige wat je daar kan vaststellen het geslacht van beide personen is en die, quasi 100% zeker, 1 jaar later nog steeds dezelfde zullen zijn). 

Daaruitvolgend snap ik al helemaal niet waarom het antwoord in You Learn gaat voor een "longitudinaal design" dat beperkt is tot 1 jaar. In principe zal op dat ene jaar tijd geen enkele variabele veranderd zijn gezien de matching tussen kind - leerkracht een heel jaar lang stabiel is en pas na een periode van 2 jaar hetzelfde kind, met dezelfde capaciteiten een andere leerkracht zal gekregen hebben en door die leerkracht "beïnvloed zal zijn" om aldus mogelijk andere prestaties te gaan leveren. 

2. Experimenteel >< observationeel design
Ik snap dat als je een causaal verband wil aantonen, je hier voor een experimentele studie moet gaan.
Alleen lijkt me dat praktisch bijzonder moeilijk en uit de zin "de onderzoeker wil weten of dit vooroordeel gevolgen kan hebben in het basisonderwijs", concludeerde ik dat men niet op zoek was naar causaliteit maar naar correlatie. 
Mijn logische brein bedacht zich dat als er geen correlatie gevonden kan worden, men al helemaal niet op zoek moet gaan naar causaliteit (maar mogelijk is mijn logica statische onzin?) en het dus zinvoller was om eerst de correlatie te zoeken en pas als die gevonden zou worden, een veel moeilijker te designen studie op te zetten met vragen naar causaliteit.
Ik was dus gegaan voor het observationele studiedesign. 

3. Onderzoeksgroepen bepalen
Tenslotte bestond mijn bedacht onderzoek maar uit 2 onderzoeksgroepen. Eentje met "gelijk" geslacht en eentje met "ongelijk" geslacht. 

Bij deze onderzoekvraag ("of leerlingen die les hebben van iemand van hetzelfde geslacht beter presteren dan leerlingen die les hebben van iemand van het andere geslacht") lijkt er geen intentie te zijn om ook na te kijken of er een verschil is tussen M-M, M-V, V-V of V-M, maar louter tussen 'gelijk' versus 'ongelijk'.

Ik ben ervan overtuigd dat het absoluut veel interessanter zou zijn als onderzoek om naar de 4 groepen te kijken, maar dat wordt in de vooropgestelde onderzoeksvraag niet aangehaald. Het vormen van toch 4 groepen in het design, lijkt te impliceren dat de verkregen data anders zal geanalyseerd worden dan wat in de originele onderzoeksvraag bedoeld werd en dat lijkt me dan weer niet de bedoeling te kunnen zijn.
Of mag dit flexibel bekeken worden zonder daarom dubieus te worden?

Answer 1

Dit zijn stiekem drie vragen :-)

Ik zal de antwoorden ook even nummeren.

1. Cross-sectioneel vs longitudinaal
   Zoals je aangeeft zullen veranderingen in geslacht over een jaar zijn dermate zeldzaam zijn, dat in dit geval een cross-sectioneel ontwerp vergelijkbaar is met een longitudinaal ontwerp. Je geeft aan dat je dit verwarrend vindt. Precies dit punt staat echter in het antwoord (in de laatste twee zinnen: "De studie in deze opdracht is echter een uitzondering: zowel geslacht van de scholier als geslacht van de leerkracht is in principe stabiel over de tijd. In dit geval is het eenvoudigste design dus vergelijkbaar met een quasi-experiment."). Had je hier overheen gelezen? En zonee, kun je dan nog een keer uitleggen wat je verwarrend vind?
2. Experimenteel vs observationeel
   Als twee variabelen causaal samenhangen, is het mogelijk dat je desondanks in een observationele studie geen verband vindt. Dat komt omdat er spraks kan zijn van allerlei verstorende variabelen: die veranderen de sterkte van geobserveerde correlaties, maar niet altijd in de richting van een sterkere correlatie - dit kan evengoed in de richting van een zwakkere correlatie zijn. Als je in een observationeel ontwerp dus geen correlatie vindt, kun je daar niet uit concluderen dat er geen causale relatie is, of dat de kans dat er een causale relatie is, klein is.
3. Onderzoeksgroepen bepalen
   Je hebt gelijk dat je alleen "zelfde geslacht" vs "verschillend geslacht" analyseert; dat is inderdaad een dichotome variabele. In de praktijk zijn er natuurlijk vier groepen: leraren hebben geen kenmerk "zelfde geslacht". Je meet dus geslacht bij deelnemers en bij leraren, en bepaalt dan de indeling van deelnemers. In je dataset sla je dat gemeten geslacht op om zo je afhankelijke variabele ("zelfde geslacht" vs "verschillend geslacht") te kunnen berekenen. Je hebt gelijk dat je daar de analyse uiteindelijk op uitvoert.

Comments

Ik had hier helemaal niet overgelezen, maar vind dit hele concept van "quasi-experiment" uiterst verwarrend. Gezien je het hier expliciet vermeld ondert het tablet "longitudinaal>< cross-sectioneel", besluit ik dan maar dat het - ondanks zijn naam - niks met de notie "experimenteel versus observationeel" te maken heeft ?
Maar dat het een tussengroep vormt tussen cross-sectioneel en longitudinaal?

Ik snap er echt niks meer van, waarom heet het dan "quasi-experiment" en hoe vormt dit een antwoord op de vraag of het nu cross-sectioneel of longitudinaal is?

Naar mijn gevoel is dit hele voorbeeld allesbehalve verduidelijkend.
Van een studie-populatie en concept waar je met een zeer kleine moeite, retrospectief, miljoenen, geanonimiseerde, historische datapunten kan verzamelden door simpelweg bestaande, real-life resultaten op te vragen bij het ministerie van onderwijs of de nabijgelegen school, maken jullie een longitudinaal experiment waar jullie dan prospectief een "quasi"-experiment voor gaan uitvoeren?

Dit voelt voor mij ongelooflijk onlogisch, allesbehalve kosteneffectief en vooral extreem verwarrend.

Ik vermoed dat ik alle concepten meer dan begrijp, maar dit voorbeeld is voor mij onverstaanbaar.

---

Een quasi-experiment is een ontwerp waarbij groepen verschillen op een voorspeller (onafhankelijke variabele), maar waarbij niet via toeval is toegewezen in welke groep een deelnemer belandde (i.e. welke waarde voor de voorspeller / onafhankelijke variabele ze kregen). Dit zit dus tussen experimenteel en non-experimenteel (i.e. observationeel) onderzoek is (vandaar de naam quasi-experimenteel). De reden dat het studie-ontwerp hier een quasi-experiment is, is dat geslacht niet wordt gemanipuleerd, terwijl de groepen wel worden beschouwd als verschillende condities.

Verder betreft een longitudinaal design een design met meerdere meetmomenten - los van of de dingen die worden gemeten stabiel zijn over tijd en dus in principe in minder meetmomenten gemeten hadden kunnen worden. Dit is waarnaar wordt verwezen in dat uitgelichte fragment: het onderscheid tussen longitudinaal en cross-sectioneel is kunstmatig als je zeker weet dat de gemeten variabelen niet kunnen veranderen in het tijdsinterval tussen de metingen.

Helpt dit? Zonee, dan kan het zijn dat we langs elkaar heen praten. Als je dit indruk deelt is het slim om je vragen 'gedecontextualiseerd' te stellen, zodat het makkelijker is om de onderdelen te identificeren die niet helder zijn; of om dit op een vragenuurtje te vragen.