Wanneer is er sprake van multicollineariteit?

Question

Ik wil vaststellen of er sprake is van multicollineariteit. Tolerancewaarden niet onder 0.2, VIF-waarden niet groter dan 10, maar de gemiddelde VIF-waarde is wel hoger dan 1 (namelijk 1,68). De hoogste correlatie tussen predictoren die ik kan vinden is -.617. Is er dan sprake van multicollineariteit?

Wat ik niet goed begrijp is of alle drie de manieren om te kijken ‘niet geslaagd’ moeten zijn (d.w.z. tolerancwaarden onder 0.2, vifwaarden groter dan 10 én gemiddelde VIFwaarde hoger dan 1) of dat je ook al kan spreken van multicollineariteit als één van de drie ‘niet geslaagd’ is.

Answer 1

Het zijn alle drie indicatoren van een mogelijk probleem. Als er een op rood springt moet je je zorgen gaan maken. Een correlatie van .60 is in de psychologie vrij hoog en kan wijzen op een probleem.

Je kan de regressie herhalen zonder een van deze twee predictoren om te zien wat er gebeurt. Uiteindelijk moet je altijd zelf goed blijven nadenken of de uitkomsten logisch zijn. De statistiek probeert je te helpen, maar de onderzoeker trekt de conclusies.

Comments

VIF en Tolerance zijn trouwens elkaars reciproke - als de Tolerance .05 is, is de VIF 20, etc. Zie ook http://www.how2stats.net/2011/09/variance-inflation-factor-vif.html:

In multiple regression, the variance inflation factor (VIF) is used as an indicator of multicollinearity. Computationally, it is defined as the reciprocal of tolerance: 1 / (1 - R²). All other things equal, researchers desire lower levels of VIF, as higher levels of VIF are known to affect adversely the results associated with a multiple regression analysis. In fact, the utility of VIF, as distinct from tolerance, is that VIF specifically indicates the magnitude of the inflation in the standard errors associated with a particular beta weight that is due to multicollinearity.

---

Bedankt.

Toch loop ik nog vast, omdat ik kritisch wil kijken naar de multicollineariteit. Ik heb de regressieanalyse nogmaals uitgevoerd maar dan zonder één van de predictoren. De gemiddelde VIF-waarde is hierna wel gedaald, maar nog boven 1, namelijk 1,24.

Bij de regressieanalyse waar alle predictoren in opgenomen waren kwam in de tabel 'collinearity diagnostics' bij condition index op dimension 5 een waarde van 34.249. Bij de regressieanalyse zonder één van die predictoren (die sterk correleerde met een ander) wordt een condition index van 28,408 aangegeven bij dimension 4.

Ik denk dat er wel sprake is van multicollineariteit maar begrijp niet hoe ik nu verder moet.

---

Je behaalt alleen een VIF van 1 als je voorspellers niet samenhangen. Psychologische variabelen hangen altijd samen - ze bestaan niet echt, je meet deels overlappende aspecten van de menselijke psychologie (zie de artikelen op http://pragmaticnihilism.com voor uirleg hierover).

Het is ook niet erg om een hogere VIF te hebben - hierdoor zijn je standaardfouten groter, maar als je genoeg deelnemers hebt is dat niet erg. Als je niet genoeg deelnemers hebt moet je sowieso geen multivariate analyses doen, dus dat lost zichzelf op zeg maar.

Hoe sterk je voorspellers samenhangen zie je aan de onderlinge correlaties. Die moet je bespreken met je begeleider om te kijken of daar iets problematisch tussen zit. Zonee, dan is een VIF boven de 1 niet erg.

Sterker nog, in veel situaties is een VIF boven de 10 ook niet erg. Dit is heel erg context-onafhankelijk. Er bestaan geen grenswaarden of richtlijnen die altijd zinvol toe te passen zijn: dit kan per situatie verschillen.