Symmetrie van correlatie/regressie

Question

Wat wordt er bedoeld als er wordt gezegd dat een verdeling symmetrisch/asymmetrisch is?

Ik heb begrepen dat correlatie symmetrisch is, maar regressiecoëfficienten niet. Maar wat betekent dit?

Answer 1

Regressie-analyse heeft als aanname dat de voorspellers geen meetfout hebben. Alleen de afhankelijke variabele mag meetfout bevatten. Alle ruis in je data wordt dus ook toegeschreven aan de afhankelijke variabele. Daarom is de regressie-coefficient van A op B anders dan de regressie-coefficient van B op A - tenzij A en B zijn gecentreert.

Bij correlatie wordt alleen gekeken naar de ruis ten opzichte van "het signaal", oftewel de gedeelde variantie (i.e. covariantie). Correlatie drukt dus uit hoe sterk A en B samenhangen - en die samenhangt is even sterk als je kijkt hoe sterk B en A samenhangen. Je kunt dit een beetje zien als dat correlatie-analyse de ruis als gedeelde verantwoordelijkheid opvat.

Regressie-analyse daarentegen weet dat de voorspellers geen meetfout kunnen bevatten. Dat is immers een voorwaarde voor regressie-analyse. Regressie-analyse beschouwt ruis dus als de verantwoordelijkheid van de afhankelijke variabele. Dat manifesteert zich in andere regressie-coefficienten.

Dit zie je met plotjes geillustreerd in https://openmens.nl/regressie#asymmetrie-in-regressie-analyse.