Moet een item rest correlatie <.30 hoe dan ook worden verwijderd?

Question

In een kleine schaal van 4 items heeft 1 item een restcorrelatie van <.30. Moet je dat item dan zo wie zo verwijderen? Er zijn bij verwijdering nog maar 3 items aanwezig. Is dat wel voldoende voor een schaal?

Answer 1

Nee - er zijn nooit regels mogelijk op basis van harde grenswaarden. De 'American Statistical Association' adviseert ook expliciet tegen het hanteren van zulke zogenaamde 'brightline criteria'.

De grenswaarde van .30 is een algemene leidraad. Item-rest-correlaties van .5 kunnen ook problematisch zijn als ze voor items gelden die gegeven hun inhoud juist centraal zouden moeten staan ten opzichte van het doelconstruct.

Bij schalen is validiteit het belangrijkste. Lage betrouwbaarheid betekent simpelweg dat je error groter wordt. Omdat error, het omgekeerde van betrouwbaarheid, letterlijk per definitie willekeurig is (er zit geen systematiek in; als er wel systematiek in zit, is het geen meetfout maar een aantasting van de validiteit), betekent dit dat de errorvariantie groter wordt, en dus je power lager. Dat kun je altijd oplossen met meer metingen; bijvoorbeeld meer items per meetinstrument (dus meer metingen per meetinstrument) of meer metingen per deelnemer, of meer deelnemers per steekproef.

Gebrek aan validiteit is niet op te lossen. Je data zeggen dan simpelweg te weinig over je doelconstruct. Die ontbrekende informatie kun je niet meer achterhalen.

Dus, laat je beslissingen primair leiden door:

1. De definitie van je doelconstruct
2. De inhoud van je items

Statistische informatie gebruik je ook, maar die laat je nooit prevaleren boven inhoudelijke afwegingen.

Dus: een item met een item-restcorrelatie van < .3 kun je prima behouden, als je die lage item-restcorrelatie begrijpt (e.g. het item meet een aspect van je doelconstruct dat de overige items niet goed afdekken).

En als een item praktisch hetzelfde meet als drie andere items, dan kun je het prima verwijderen; je betrouwbaarheid wordt iets lager, maar je validiteit blijft gehandhaafd.

Het belangrijkste is dat je itempool uiteindelijk nog je doelconstruct goed afdekt volgens de definitie van dat doelconstruct. (Als je geen heldere definitie hebt, is dat dus een groot probleem: maar da's logisch; je kunt geen wetenschappelijk onderzoek naar iets doen als je eerst niet precies weet waarnaar je onderzoek wil doen, en dit is extra belangrijk in de psychologie en onderwijswetenschappen, waar onze variabelen niet rechtstreeks geobserveerd kunnen worden).