Hoe hoog moet de item-total correlation minimaal zijn voordat je een item uit je schaal gooit?

Question

Hallo,

 

Bij het bepalen de correlatie tussen items van een schaal heb ik twee bronnen: De OPS module die zegt dat de item-total correlation minimaal 0.20 moet en Field die zegt dat deze minimaal 0.30 moet zijn. Net als bij het imputeren zal ook hier geen absolute richtlijn voor zijn en zijn er meer zaken die meespelen bij het verwijderen van een item. Maar ik ben wel benieuwd welke overwegingen ik moet meenemen in de volgende situatie. 

Ik heb een schaal van 19 items met alle item-total correlation boven de .30, behalve 1 item die een item-total correlation heeft van .22. Field strak toepassen betekent dit item verwijderen, volgens OPS kun je 'm er nog wel inhouden. Voor de Cronbach's Alpha maakt verwijderen amper iets uit (0.03 hoger) aan de andere kant heb je dan nog steeds 18 andere items over die wel onderling beduidend meer samenhang vertonen.

 

Valt hier iets algemeens over te zeggen over wat je in zo'n geval het zwaarste moet laten wegen?

 

Groet,

 

Bert

Answer 1

Voordat ik verder ga, is het verstandig om deze uitleg te lezen: http://oupsy.nl/help/4/wanneer-is-cronbachs-alpha-hoog-genoeg

Zoals bij alle statistiek bestaan er geen harde grenzen (en geldt dat er op de 'harde grenzen' die wel worden gebruikt, vaak veel is aan te merken, zoals p < .05).

Gegeven dat dergelijke grenswaarden (ritem-total > .2 of ritem-total > .3) deels arbitrair zijn, maakt het dus niet veel uit welke je hanteert. Het is vooral belangrijk om goed na te blijven denken. Er zijn grofweg twee mogelijke verklaringen voor een lage item-total correlatie:

1. Het item werkt niet goed; het is ambigu en wordt door verschillende proefpersonen verschillend beantwoord; of iedereen antwoordt hetzelfde waardoor je bijna geen spreiding hebt; etc.
2. Het item meet een aspect van het betreffende construct dat niet door de andere items in de schaal wordt gemeten.

In beide gevallen verwacht je een lage ritem-total; maar in het eerste geval kun je het item veilig verwijderen, terwijl je in laatste geval de validiteit van je schaal zou aantasten. Je zou immers een relevant aspect van het construct niet langer meten. Dit is dus deels een kwestie van common sense en face validity.

Het bekijken van de verdelingen van je items (histogrammen) kan helpen te bepalen wat er aan de hand is. Factor-analyse kan helpen te bepalen hoe je schaal in elkaar zit. Als exploratieve factor-analyse uitwijst dat de items in je schaal door meer dan één factor worden verklaard, kan het beter zijn om bijvoorbeeld naar twee sub-schalen te middelen in plaats van naar de ene schaal die je oorspronkelijk voor ogen had.

Wat je ook doet, het is heel belangrijk om precies te rapporteren welke besluiten je neemt en waarom. Daarom is het belangrijk om in je syntax-file duidelijke comments te plaatsen waar je uitlegt wat je doet en waarom. Deze syntax-file moet je vervolgens met je artikel (of BT, of MT) meesturen. Zie voor uitleg het artikel over False Positive Psychology: http://pss.sagepub.com/content/22/11/1359

Kort samengevat: bestudeer de verdelingen van je items, doe eventueel een exploratieve factor-analyse, en denk goed na over wat je item meet en wat de oorzaak zou kunnen zijn voor de lage ritem-total; besluit wat je doet; rapporteer wat je doet in je syntax file.

Comments

Ik besloten om vooral goed na te denken over de inhoud van het item en niet te zeer te letten op de harde getalletjes :). En dan kom ik tot de conclusie dat dit ene item toch wel een beetje een vreemde eend in de schaal is en blijkbaar een minder sterke relatie heeft met het construct dat we willen meten. Daarom: verwijderd. Toch wel mooi dat de statistiek in ieder geval een indicatie in die richting geeft...

---

Klinkt goed!