Moet ik deze negatieve items hercoderen?

Question

In de inter-item correlation matrix krijg ik twee negatieve getallen. Heb ik iets verkeerd gedaan met hercoderen of is het iets anders?

Inter-Item Correlation Matrix
	[Ik verwacht dat een pauze-software-programma RSI-klachten kan voorkomen.]	[Ik geloof dat een pauze-software-programma RSI-klachten effectief kan verminderen/ verhelpen.]	[Ik verwacht dat zo’n pauze-software-programma heel eenvoudig te installeren is.]	[Ik kan mij perfect aan zo’n pauze-software-programma houden. ]	ABelief5T0rec	ABelief6T0rec	ABelief7T0rec
[Ik verwacht dat een pauzesoftwareprogramma RSI-klachten kan voorkomen.]	1,000	,715	,014	,274	,168	,122	,446
[Ik geloof dat een pauzesoftwareprogramma RSI-klachten effectief kan verminderen/verhelpen.]	,715	1,000	,126	,306	,131	,150	,490
[Ik verwacht dat zo’n pauzesoftwareprogramma heel eenvoudig te installeren is.]	,014	,126	1,000	,109	-,045	-,046	,091
[Ik kan mij perfect aan zo’n pauzesoftwareprogramma houden. ]	,274	,306	,109	1,000	,260	,135	,400
ABelief5T0rec	,168	,131	-,045	,260	1,000	,509	,329
ABelief6T0rec	,122	,150	-,046	,135	,509	1,000	,296
ABelief7T0rec	,446	,490	,091	,400	,329	,296	1,000

 

 

Answer 1

Goede vraag :-)

Stap 1: of je wel correlaties mag uitrekenen
Ten eerste moet je nooit naar correlaties kijken zonder de bijbehorende scatterplots te bestuderen! Een correlatie heeft immers een aantal aannamen, waaronder dat het te representeren verband lineair is. Of dat zo is kun je zien aan de scatterplot. Je moet dus voor al deze verbanden tussen items een scatterplot bestellen in SPSS.

Ik heb een functie gemaakt die het heel makkelijk maakt om een scattermatrix te bestellen (een soort correlatietabel maar dan met scatterplots). Dan krijg je zoiets:

Je ziet dan snel of je verbanden wel lineair zijn, en met de histogrammen kun je snel de verdeling van je items bekijken. Ik heb een handleidinkje hiervoor geschreven in het artikeltje waar ik naar link vanaf http://userfriendlyscience.com/reliability ("The alpha and the omega of scale reliability and validity: Why and how to abandon Cronbach’s alpha and the route towards more comprehensive assessment of scale quality").

Je kunt natuurlijk ook in SPSS scatterplots bestellen! Houdt er wel rekening mee dat je dan nog moet 'binnen' omdat SPSS anders datapunten over elkaar heen plot (zie http://www.unige.ch/ses/sococ/cl/spss/graph/scatterbins.html).

Stap 2: dimensionaliteit van je construct
Voordat je Cronbach's alpha, omega, de GLB, Lambda 2 of andere maten van interne consistentie/betrouwbaarheid mag berekenen, moet je verifieren of je items wel allemaal unidimensionaal zijn. Dit doe je met een factor-analyse (zie Psychologisch Survey). Als hier uit komt dat je items unidimensionaal zijn, weet je dat je dus ook aan die voorwaarde voldoet.

Stap 2: validiteit en breedte van je construct
Stel je voor dat je niets vreemds ziet in je scatterplots, en dat je items unidimensionaal zijn. Dan is de vraag waarom de correlaties dan zo laag zijn.

Op dat moment moet je je items zelf goed bestuderen (ok, dat moet je natuurlijk de hele tijd, want de bewoording van de items is de items, 'for all practical purposes').

Kan het zijn dat de afwijkende items een afwijkende vraagstelling hebben (in dat geval is het een artefact van hoe je hebt gemeten)?

Hoe breed is het construct dat je meet eigenlijk?

Zijn sommige items misschien linksscheef en anderen rechtsscheef (dan kun je nooit een hoge correlatie vinden)?

Jouw situatie
In jouw specifieke geval lijken de eerste twee items beliefs te meten die onder de variabele vallen die meestal 'attitude' wordt genoemd (een inschatting van de gevolgen, en de wenselijkheid van die gevolgen, van een gedrag). Het derde item lijkt 'self-efficacy' te meten (hoe goed iemand denkt in een bepaald gedrag te zijn) ten opzichte van het installeren van een bepaald programma, terwijl het vierde item eerder iemands waargenomen gedragscontrole lijkt te meten met betrekking tot het zich houden aan zo'n RSI programma.

Het lijkt dus alsof deze items allemaal beliefs meten die onder verschillende determinanten vallen (zie http://ehps.net/ehp/index.php/contents/article/download/ehp.v16.i5.p142/7 voor meer achtergrond over hoe dat werkt met beliefs en determinanten).

In jouw geval zou een factor-analyse dit normaliter gezien moeten uitwijzen (niet PCA maar PFA of PAF (die laatste twee zijn twee verschillende namen voor hetzelfde)).

Als deze beliefs inderdaad verschillende determinanten onderliggen, dan is het niet erg dat deze correlaties laag zijn; de items meten immers andere variabelen. Je zou ze dan ook niet aggregeren in dezelfde schaal, tenzij je die schaal bedoelt als index (zie voor het onderscheid tussen een 'schaal' en een 'index' dat eerste artikeltje over Cronbach's Alpha).

Comments

Ik zou klassieke testtheorie (alpha, split-half, etc.) niet combineren met moderne testtheorie (PCA, FA, IRT). Het zijn compleet verschillende benaderingen.

Helaas zijn de labels van de recoded items niet zichbaar; voordat je controleert of er met de recode iets is misgegaan kun je je afvragen of de inhoud van de items voldoende matched met de andere items. Voor item 5 en 6 is de correlatie met alle andere items bijzonder laag. Klassieke testtheorie gaat ervan uit dat ieder item gelijk is als een nieuwe kop-muntworp; dezelfde vraag in een nieuw jasje. Wat de oorzaak ook is: met name item 5 en 6, en in een bepaalde mate ook item 7 gedragen zich relatief willekeurig ten opzichte van de overige vragen.

Deze problematiek doet zich relatief vaak voor bij om te polen items; negatieve varianten van positief gestelde vragen zijn vaak net niet synoniem voor elkaar.

Pak de syntax erbij en kijk of er geen omcodeerfouten zijn gemaakt. Zo niet, kijk dan of er een goede inhoudelijke reden kan zijn voor deze lage correlaties. Als dat niets oplevert, en je doet geen analyse vanuit een moderne testtheoretische benadering (zoals PCA, of PAF), dan rest je weinig dan het minst 'presterende' item te verwijderen totdat er een schaal met intern consistente items overblijft.