Wat is de juiste statistische analyse om moderatie effecten te onderzoeken in een longitudinaal studie design?

Question

In mijn onderzoek wil ik:

1. het verband tussen baanonzekerheid (BO) enerzijds en verzuimfrequentie (VF) en  verloopintentie (VI) anderzijds onderzoeken

2. Onderzoeken of bovenstaande relaties wordt gemodereerd door de mate van Leader Member Exchange (LMX) (= de kwaliteit van de band tussen werknemer en leidinggevende)

Om meer te kunnen zeggen over de richting/causaliteit van het verband wil ik dit doen in een longitudinale setting.

Ik ben van mening dat de volgende analyse de juiste is:

- Op T1 wordt baanonzekerheid gemeten (middels een vragenlijst)

- VF (op basis van objectieve verzuimdata) wordt gemeten tussen T1 en T2 (T2 = T1 + 6 maanden)

- Op T2 wordt LMX en VI gemeten (middels een vragenlijst)

Doordat er tijd zitten tussen het meten van de onafhankelijke en afhankelijke variabelen (i.p.v. dat deze op 1 en hetzelfde moment worden gemeten) is kan er meer gesuggereerd worden over de richting van het verband.

De uit te voeren analyse is dat een moderatie analyse welke gedaan kan worden met het PROCESS-macro van Hayes (http://www.processmacro.org/index.html).

De vraag is: klopt bovenstaande gedachtengang?

Comments

waarom vermoed je dat de gedachtengang onjuist is?

---

Hoi,

Omdat ik twijfel of er bij longitudinaal onderzoek niet ook per definitie sprake moet zijn van herhaalde metingen. Dat is in bovenstaande voorstel niet het geval (er zijn wel 2 meetmomenten maar op T1 en T2 worden verschillende variabelen gemeten).

De andere opties waar ik tussen twijfel zijn:

Optie 2: Bovenstaande voorstel maar:

- Op beide meetmomenten wordt BO, LMX en VI gemeten

- In de moderatie analyse wordt gebruik gemaakt van de verschilscores van deze 3 variabelen (verzuimfrequentie is gelijk als in bovenstaande voorstel).

Optie 3: gelijk als optie 2 maar:

- Bij het invullen van de vragenlijsten op T1 en T2 wordt nadrukkelijk gevraagd om deze in te vullen met in acht neming van de afgelopen 6 maanden (oftewel BO, LMX en VI worden op T1 en T2 retrospectief gemeten over een periode van 6 maanden).

- VF wordt 2 maal gemeten. 1x over de periode tussen 'T1-6 maanden' en 'T1' en 1x over de periode tussen 'T1' en 'T2'.

- In de moderatie analyse wordt gebruik gemaakt van de verschilscores van alle variabelen (BO, VI, VF en LMX).

Ik kom er niet uit welke van de 3 opties het beste is. Mijn voorkeur gaat naar de eerst genoemde optie omdat ik de toegevoegde waarde niet zie van optie 2 en 3 maar ik twijfel of dat wel longitudinaal onderzoek genoemd mag worden omdat er geen sprake is van een herhaalde meting.

Answer 1

Als er niet herhaald gemeten wordt weet ik niet of dat met eer en geweten een longitudinaal design mag worden genoemd. Dat gezegd hebbende: het heeft een longitudinaal karakter, maar zonder herhaalde metingen.

Ongetwijfeld zal dat iets meer informatie kunnen geven dan een puur cross-sectionele aanpak, maar de aanpak blijft correlationeel. Er zullen daarom wat 'klassieke' bedreigers van de validiteit zijn die bij correlationeel onderzoek hangen, en een aantal bedreigers die voortkomen uit het meten van andere variabelen over een gerekt stuk tijd.

Een van de problemen waar ik al aan denk is dat door niet te weten wat LMX en VI eerst waren kun je in ieder geval niets zeggen over toe- of afnames. In wezen ben je volgens mij dan weinig verder dan met een cross-sectionele aanpak. Maar als er tijd nodig is voor LMX en VI om 'tot rijping te komen', dan kan dit misschien zinvol zijn. Enkel theorie kan hier uitsluitsel over geven.

Zoals eigenlijk met alle onderzoeksvoorstellen: de begeleider is de beste persoon om te vragen naar de optimale keuze gegeven een situatie. Dit is meer een designvraag dan een statistische vraag

Comments

Hoi Ron,

Dank voor je reactie. Echter, mijn begeleider gaf juist de tip om hier de vraag te stellen :).

Kan er bij optie 2 en 3 wel worden gesproken van longitudinaal onderzoek (naar mijn weten wel)? en is er dan nog bewuste voorkeur voor optie 2 en/of optie 3?

---

Beide opties hebben merites en kunnen data-technisch als longitudinaal behandeld worden (maar: bij de interpretatie moet dan rekening gehouden worden met of het echt longitudinaal is (optie 2) of trucage (optie 3).

Er is niets mis met een retrospectieve voormeting (optie 3). Heeft voordelen (dataverzameling, geen beinvloeding vooraf, testeffecten, etc.), maar uiteraard ook het nadeel dat je nooit weet of iemand wel goed retrospectief kan denken (mogelijke hindsight bias)

Optie 2 is dan een herhaalde meting, maar hoewel dat dan de beste optie lijkt introduceert het nieuwe dillema's: hoe ga je om met de voormeting? Zie je ze als covariaten, of neem je overal de verschilscore van? Bij zo'n design zou ik persoonlijk overwegen om over te stappen op een structural equation modeling raamwerk (een padmodel, of een latent model is mij dan om het even). [bijv: http://www.quantpsy.org/pubs/little_card_bovaird_preacher_crandall_2007.pdf ]

Kort gezegd: 2 en 3 klinken allebei goed, dus kies in de eerste instantie theoriefocused (welke design heeft de beste interne validiteit) en vervolgens pas data-focused (welke analysetechniek beheers ik)

---

Hoi Ron,

Dank voor je snelle reactie. Je geeft aan dat optie 3 niet echt longitudinaal is maar ook in deze varianten is er sprake van herhaalde meting. In deze variant worden alle variabelen herhaald gemeten (inclusief VF). Echter, omdat VF over een periode moet worden gemeten (je kan niet 3 keer verzuimen op 1 moment). Om deze reden worden dan ook de andere variabelen over eenzelfde periode gemeten (retrospectief).

---

Ah bedankt, dan heb ik te snel gelezen. Dan lijkt optie 2 erg op optie 3 in essentiele opzichten. A-forteriori: als volledig retrospectief al merites had, dan heeft gedeeltelijk retrospectief ook merites. Het komt allemaal neer op welke bewijslast noodzakelijk is om je vraag te beantwoorden: de indirecter je meet de indirecter het bewijs.

---

Hoi,

Wederom dank voor je snelle reactie. Ik heb inmiddels met mijn begeleider overlegd en wij zijn op de volgende analyse uitgekomen. Mijn begeleider vroeg nog wel om even hier te checken of de analyse die wij bedacht hebben oké is.

Hypothese 1a: De verandering in door werknemers ervaren kwantitatieve en kwalitatieve baanonzekerheid tussen tijdstip 1 (T1) en 2 (T2) hangt positief en significant samen met hun ziekteverzuimfrequentie tussen T1 en T2.

Hypothese 1b: De verandering in door werknemers ervaren kwantitatieve en kwalitatieve baanonzekerheid tussen tijdstip 1 (T1) en 2 (T2) hangt positief en significant samen met de verandering in verloopintentie tussen T1 en T2.

Bijbehorende analyse:

Hypotheses H1a en H1b zullen worden getoetst door middel van een meervoudige hiërarchische regressieanalyse. Deze wordt in 2 stappen uitgevoerd. Als onafhankelijke variabelen gelden de verschilscores van kwantitatieve en kwalitatieve baanonzekerheid. Als afhankelijke variabelen gelden verzuimfrequentie en de verschilscore van verloopintentie. Voor elke afhankelijke variabele (en daarmee elke hypothese) wordt een meervoudige hiërarchische regressieanalyse gedaan. In stap 1 worden de controle variabelen en de verschilscore van de onafhankelijke variabele toegevoegd. In stap 2 wordt de verschilscore van de afhankelijke variabele toegevoegd.

Hypothese 2a: LMX (gemeten op T1) modereert de positieve samenhang tussen de verandering in door werknemers ervaren kwantitatieve en kwalitatieve baanonzekerheid en verzuimfrequentie tussen T1 en T2. De verwachting is dat deze samenhang zwakker is bij een hoge mate van LMX.

Hypothese 2b: LMX (gemeten op T1) modereert de positieve samenhang tussen de verandering in door werknemers ervaren kwantitatieve en kwalitatieve baanonzekerheid en verloopintentie tussen T1 en T2. De verwachting is dat deze samenhang zwakker is bij een hoge mate van LMX.

Bijbehorende analyse:

Hypotheses H2a en H2b zullen worden getoetst door middel van PROCESS, een macro voor SPSS voor toetsen van moderator effecten (Preacher & Hayes, 2004; Preacher & Hayes, 2008). In dit macro worden de volgende stappen genomen. Allereerst worden de onafhankelijke (verschilscores), de afhankelijke (verschilscores) en de moderator (meting op T1) variabele gecentreerd door middel van het berekenen van Z-scores. Vervolgens wordt de interactievariabele berekend. De regressie analyse wordt in vier stappen uitgevoerd. In stap 1 worden de controle variabelen en de verschilscore van de onafhankelijke variabele toegevoegd. In stap 2 wordt de verschilscore van de afhankelijke variabele toegevoegd. In stap 3 wordt de moderator (meting op T1) toegevoegd en in stap 4 wordt het interactieproduct toegevoegd.

Een alternatief zou nog kunnen zijn om niet de verschilscore, maar de gemiddelde score ((T1+T2) / 2) van elke variabele te gebruiken. Maakt dit voor de analyse nog uit? Zo niet, dan kan ik de theoretische relevantie (verschilscore VS gemiddelde score) overleggen met mijn begeleider.