Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks

Onderwerp: Niet significant resultaten in multiple regressieanalyse

Informatie vooraf: In mijn onderzoek heb ik 4 onafhankelijke variabelen (Emoties, Betrokkenheid, Interne Druk, Externe Noodzaak) waarvan ik een direct effect veronderstel op mijn afhankelijke variabele (Veranderbereidheid). Daarnaast heb ik 3+5 modererende variabelen: drie vormen van leiderschapsstijl (Transactioneel, Transformationeel, Laissez-faire) en vijf persoonlijkheidskenmerken (Extraversie, Inschikkelijkheid, Zorgvuldigheid, Neuroticisme, Openheid). Daarbij onderzoek ik het effect van de vier onafhankelijke variabelen op de veranderbereidheid van een specifieke beroepsgroep en de mate waarin de drie leiderschapsstijlen en de vijf persoonlijkheidskenmerken dit effect modereren. Tot slot worden in het onderzoek 2 controlevariabelen meegenomen (opleidingsniveau en arbeidsduur), waardoor respectievelijk 2 en 3 dummyvariabelen zijn aangemaakt (1 referentie gekozen).



 

In totaal hebben 131 respondenten mijn survey ingevuld bestaande uit 5 sociaal-demografische vragen en 101 inhoudelijke vragen (items). Daarvan heb ik 4 vragenlijsten verwijderd wegens onvolledigheid en heb ik 6 vragenlijsten verwijderd wegens consistente beantwoording van de laatste 20 vragen (allen neutraal). Resulterend in 121 bruikbare en complete surveys. Vervolgens heb ik middels een confirmerende componentenanalyse en betrouwbaarheidsanalyse de theoretische schaalconstructies bevestigd (=gelijk aan theoretische schaalconstructie) of herzien (= bijv. 1 item verwijderd o.b.v. factorlading of betrouwbaarheid en vervolgens een herziende schaal gedefinieerd). Dit heeft geresulteerd in 14 bevestigde componenten en 5 herziende componenten. Een component bestaat uit minimaal 3 items en iedere variabele bestaat uit 1 component/schaal, uitgezonderd transactioneel (3 comp.) en transformationeel (5 comp.) leiderschap).

Na de PCA en betrouwbaarheidsanalyse is er een correlatieanalyse tussen de 2 controlevariabelen, 4 onafhankelijke variabelen, 8 modererende variabelen en de enkele afhankelijke variabele uitgevoerd. Hieruit blijkt dat de vier onafhankelijke variabelen onderling matig significant (.330 - .592, p<.01) correleren en tevens zwak (.244, p<.01) tot matig (.359 - .512, p<.01) correleren met de afhankelijke variabelen. Vervolgens blijkt dat de 3 leiderschapsstijl-variabelen uitsluitend onderling zwak tot matig (.190, P<.05 - (-).572, p<.01) correleren, niet tot nauwelijks (max. .200, p<.05) correleren met de vier onafhankelijke variabelen en niet correleren met de afhankelijke variabele. Iets soortgelijks geldt voor de vijf persoonlijkheidskenmerken die uitsluitend niet tot slechts beperkt (~.200, p<.01) onderling correleren en ook nauwelijks correleren met de afhankelijke variabele (.180, p<.05 - .250, p<.01) of de vier onafhankelijke variabelen (~.000 - .200, p<.05).

Uitleg m.b.t. de vraag: Voorafgaand aan mijn hiërarchische multiple regressieanalyse heb ik mijn 4 onafhankelijke variabelen en 8 modererende variabelen gecentreerd (mean = 0) en heb vervolgens ik 32 (gecentreerde) interactie-effecten gecreëerd. In mijn eerste model heb ik de twee dummyvariabelen van controlevariabele 1 en de drie dummyvariabelen van controlevariabele 2 ingeladen. In model 2 heb ik de vier onafhankelijke variabelen ingeladen. In model 3 de acht modererende variabelen. En tot slot in model 4 de 32 interactie-effecten. 

Uit het resultaat van mijn regressieanalyse blijkt dat model 2, 3 en 4 significant zijn (ANOVA-tabel). Tevens blijkt dat 2 van de 4 onafhankelijke variabelen een significant effect hebben op de afhankelijke variabele (zowel in model 2, 3 als 4). Echter, geen van de modererende variabelen heeft een significant effect op de afhankelijke variabele in model 3 of 4. Tot slot blijkt wel dat (slechts) 3 van de 32 interactie-effecten een significant resultaat geeft: 

  • dit betreft enerzijds één interactie-effect tussen een onafhankelijke en modererende variabele, waarvan eerder al aangetoond is dat de onafhankelijke variabele een significant effect heeft op de afhankelijke variabele (model 2, 3 en 4) en de modererende variabele geen significant effect heeft op de afhankelijke variabele (model 3 en 4).
  • en anderzijds twee interactie-effecten tussen (dezelfde) afhankelijke variabele en twee (verschillende) modererende variabelen, waarvan eerder is aangetoond dat zij geen significant effect hadden op de afhankelijke variabele.

Kan ik op basis van dit resultaat uitsluitend voor de twee significante hoofdeffecten tussen de twee onafhankelijke variabelen en de afhankelijke variabele conclusies trekken? En wat moet ik doen met de drie significante interactie-effecten tussen de onafhankelijke en modererende variabelen waarvan in model 2, 3 en 4 de hoofdeffecten ansich niet significant waren? Omtrent dit laatste verbaasd het mij dat een interactie-effect tussen twee variabelen significant is, terwijl de twee variabelen zelf geen significant hoofdeffect hebben.

in Methodologie door (180 punten)
bewerkt door

1 Antwoord

0 leuk 0 niet-leuks
Wow. Goede, uitgebreide vraag. Heel netjes!

Jammer genoeg heb ik op basis hiervan slecht nieuws.

Dus hou je vast.

Je bent zwaar, zwaar underpowered.

Als je uitgaat van een populatiecorrelatie van .3, en die wil je detecteren met een alpha van 5% en met 80% power, dan heb je 85 mensen nodig.

Stel dat je naar 20 correlaties wil kijken. Als je de alpha op 5% wil houden, moet je voor elke losse correlatie (elke p-waarde) een lagere alpha gebruiken, om de kans op een Type-1 fout in je onderzoek op die 5% te houden. De simpelste correctie is een alpha gebruiken van .05/20 (want 20 correlaties) dus dan kom je op een alpha van .0025 per correlatie; om dan 80% power te bereiken heb je 159 mensen nodig.

Het klinkt alsof jij in totaal minstens 20 p-waarden uitrekent. Puur op basis van kans weet je dat er van elke 20 p-waarden, er eentje significant gaat zijn, aangenomen dat er geen verbanden bestaan in de populatie.  Als je 30 p-waarden uitrekent, en er zijn er 2 significant, dan weet je dus eigenlijk niets. Het is heel plausibel dat die twee p-waarden significant zijn door toeval.

Als je interacties wil toetsen, is je power een stuk lager dan voor correlaties. En in regressie-analyses wordt je power ook lager naarmate je meer voorspellers hebben, en naarmate die voorspellers meer samenhangen (zie http://oupsy.nl/help/258/correlaties-tussen-tussen-predictoren-regressieanalyses voor uitleg met plaatjes).

En dan is er nog iets, alsof dit al niet deprimerend genoeg was: je kunt moderatie uitsluitend onderzoeken als je zowel de voorspeller (de gemodereerde variabele) als de moderator manipuleert (zie http://oupsy.nl/help/2461/interactie-hypothesis-onafhankelijke-variabelen-correleren voor de uitleg).

Dit is heel jammer, want op basis van je uitleg (als in, je vraag) lijk je goed te weten wat je doet. Je lijkt de analyses, en het conceptuele denken hierover, goed in de vingers te hebben.

Nu concreet, wat je moet doen.

Ten eerste: je moet altijd alles rapporteren. Of iets significant is of niet, is irrelevant. Je leert evenveel van niet significante analyses dan van wel significante analyses. Tenminste, als je voldoende power hebt. Als je onvoldoende power hebt, moet je dat van te voren bedenken; maar als je eenmaal een studie hebt ontworpen, en je analyses hebt gedaan, moet je ook alles rapporteren.

Ten tweede: bespreek in je discussie ook deze puntjes (multiple testing; power voor interactie-termen; power-verlies door collineariteit; en eventueel de design puntjes, e.g. dat je eigenlijk sowieso een longitudinaal experimenteel design nodig hebt). Ik denk dat het waardevol kan zijn als je duidelijk uitlegt hoe vervolgonderzoek er uit zou moeten zien: dit kan voor je begeleider, en toekomstige studenten bij die begeleider, erg bruikbaar zijn.

Met betrekking tot conclusies over je hypothesen zou ik zeer, zeer terughoudend zijn. 131 deelnemers zijn heel weinig mensen om zoveel hypothesen meer te onderzoeken, dus je maakt sowieso een aantal type-1 fouten en een aantal type-2 fouten. En er is geen manier om te weten welke van de significante p-waarden type-1 fouten zijn, en welke van de niet significante p-waarden type-2 fouten zijn . . .

Sorry voor het slechte nieuws. Ik hoop dat de uitgebreide uitlegen het inzicht dat je daar hopelijk door verwerft ietwat als pleister op de wonde kan functioneren . . . Uiteindelijk, moet je maar denken, leren we sowieso niet van 1 enkele studie. We leren alleen door middel van meta-analyses van tientallen studies; en in die meta-analyses wordt de power vanzelf meer. Dus je onderzoek kna nog steeds bijdragen aan de kennis over de menselijke psychologie. Alleen wat meer lange-termijn :-)
door (77.8k punten)

Bedankt voor je uitgebreide terugkoppeling op mijn (even zo) uitgebreide vraag. Eigenlijk heb ik één korte wedervraag: als ik met inachtneming van bovenstaande variabelen uit mijn onderzoek weglaat dan maak ik denk ik ook aanzienlijke stappen, niet?

Dit klinkt allicht gek dus enige uitleg daarbij. Mijn onderzoek is gebaseerd op een literatuur studie. In het kort komt het erop neer dat voor mijn doelgroep nader onderzoek naar de 4 hoofdeffecten tussen de onafhankelijke variabelen en de afhankelijke variabele gewenst is. Daarbij de kanttekening dat uit het literatuuronderzoek het modererend effect van laissez-faire leiderschap en van de persoonlijkheidskenmerk extraversie de interesse wekt. Hiernaar wil ik onderzoek doen. Echter, wat ik in mijn enthousiasme heb gedaan is het onderzoek dusdanig (en veel te) breed getrokken en dus alle drie de leiderschapsstijlen volgens de MLQ en de Big Five volgens de BFI heb geïntegreerd. In feite meet ik dus (of thans wilde ik meten) meer dan nodig is gebleken. Dit is fout en ik zie inmiddels in dat mij moet richten op de variabelen die er op basis van mijn Theoretisch Kader echt toe doen. 

Ik ben dus voornemens om voor mijn 101 items de items van de 4 onafhankelijke, de enkele afhankelijke en de 2 (misschien nog een derde; neuroticisme) modererende variabelen te "verwijderen". Vervolgens opnieuw een confirmerende PCA, betrouwbaarheidsanalyse, correlatieanalyse en hiërarchische multiple regressieanalyse uit te voeren. 

Wat zou dit voor effect hebben op mijn power? De ratio 'Aantal respondenten : Aantal variabelen' wordt een stuk gunstiger.

Je power neemt inderdaad aanzienlijk toe als je variabelen weglaat. Of, als je niet corrigeert voor multiple testing, dan geldt dat je kans op Type-1 fouten aanzienlijk afneemt :-)

Als je nog geen data hebt verzamelt, dan lijkt dit inderdaad een heel goede oplossing.

Als je al wel data hebt verzameld, dan zou ik nog steeds terughoudend zijn met je conclusies. Wat je wel kunt doen is, voordat je analyses doet, een soort 'primaire onderzoeksvraag' kiezen. Je 'mag' dan alleen daar echte conclusies over trekken. Je kunt er ook twee kiezen; of drie; maar hoe meer je kiest, hoe zwakker je conclusies worden. Met deze splitsing zeg je dus 'ik ben eigenlijk vooral geinteresseerd in deze onderzoeksvraag(en) en de rest vind ik niet zo interessant maar check ik gewoon even nu ik de data toch heb'. In dat laatste geval kun je over die 'perifere vragen' hoogstens zeggen dat er wel wat in zou kunnen zitten en dat er meer onderzoek nodig is (maar dat is dan sorta je conclusie, of het nu significant is of niet; want je weet niet wanneer je type 1 of type 2 fouten maakt tenslotte) . . .

Zou dat een oplossing kunnen zijn?
...