5.2, vraag 16, kan ik nog meer covariaten toevoegen?

Question

Hallo,

Bij thema 5.2, vraag 16 is de vraag: 

Zijn er nog andere variabelen die invloed uitoefenen op een van de eerder gevonden relaties? Kies één van de andere variabelen (sociale of persoonlijke norm of leeftijd) en bedenk welke relatie die met sanctie, rechtvaardigheid en privégebruik kan hebben. Formuleer hierover een hypothese en voer de juiste toets uit.

In de uitwerking worden de bovenstaande covariaten afzonderlijk van elkaar uitgevoerd in een repeated measures design. Zouden deze niet ook allemaal tegelijk kunnen worden gebruikt? 

Als een covariaat meer error kan voorspellen, dan zijn meer covariaten toch alleen maar beter?

P - waardes	afzonderlijk van elkaar	bij elkaar
leeftijd	.793	.933
sociale norm	.166	.811
persoonlijke norm	.001	.004

Error (bij elkaar) 546,431769

Error (Apart, persoonlijke norm) 546,722821

Als je de covarianten bij elkaar doet verklaar je dus iets meer, maar het is nu vooral duidelijker dat de sociale norm echt geen invloed heeft. In dit geval maakt het misschien geen verschil, want hij was toch al niet significant, maar ik kan me voorstellen dat het soms wel verschil kan maken.

Is het nou slimmer op zo veel mogelijk covarianten toe te voegen? Of juist zo min mogelijk. En is het handiger om deze apart van elkaar uit te voeren, of bij elkaar?

SYNTAX:

GLM PGB0 PGB1 PGB2 BY conditie WITH leeftijd
  /WSFACTOR=meting 3 Polynomial 
  /MEASURE=PGB 
  /METHOD=SSTYPE(3)
  /PLOT=PROFILE(meting*conditie)
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=meting 
  /DESIGN= leeftijd conditie.

GLM PGB0 PGB1 PGB2 BY conditie WITH persoonlijke_norm
  /WSFACTOR=meting 3 Polynomial 
  /MEASURE=PGB 
  /METHOD=SSTYPE(3)
  /PLOT=PROFILE(meting*conditie)
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=meting
  /DESIGN= persoonlijke_norm conditie.

GLM PGB0 PGB1 PGB2 BY conditie WITH sociale_norm
  /WSFACTOR=meting 3 Polynomial 
  /MEASURE=PGB 
  /METHOD=SSTYPE(3)
  /PLOT=PROFILE(meting*conditie)
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=meting
  /DESIGN= sociale_norm conditie.

DATASET ACTIVATE DataSet1.
GLM PGB0 PGB1 PGB2 BY conditie WITH sociale_norm persoonlijke_norm leeftijd
  /WSFACTOR=PGB 3 Polynomial 
  /METHOD=SSTYPE(3)
  /CRITERIA=ALPHA(.05)
  /WSDESIGN=PGB 
  /DESIGN=sociale_norm persoonlijke_norm conditie leeftijd.

Answer 1

Er is een principe van model parsimony, ook bekend als Occams razor. De kunst is om precies zoveel verklarende factoren te hebben als nodig; en niet meer.

Je kunt natuurlijk eindeloos covariaten toevoegen, maar dat verbetert het model eigenlijk niet. Covariaten dienen theoretisch logisch en noodzakelijk te zijn. Het toevoegen van allerlei covariaten om de data te 'kneden' is een belangrijke oorzaak van model overfitting. Het toevoegen van de covariaten vergroot misschien de verklaarde variantie in de steekproef, maar de kans dat de resultaten repliceerbaar zijn in een nieuwe steekproef wordt met iedere toevoeging geringer. 

Dus, hoewel less niet automatisch more is in statistiek, is more vaak wel less.