Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks

Hallo,

Ik heb een vraag over de beoordeling van items dmv een itemanalyse. 

Ik heb een schaal met 7 items met een Cronbach Alfa van .694.

De Correlatiematrix geeft aan dat er weinig samenhang is tussen de verschillende items:

  item 1 item 2 item 3 item 4 item 5 item 6 item 7
item 1 1            
item 2 .225 1          
item 3 .406 .264 1        
item 4 .220 .086 .184 1      
item 5 .291 .614 .346 .205 1    
item 6 .167 .165 .181 .144 .348 1  
item 7 .285 .167 .197 .254 .213 .359 1

Als ik echter naar de rest-correlaties kijk in de Item-Total Statistics tabel is slechts 1 item (item 4) dat onder de .30 scoort (.297). De hoogste score is .538 (item 5).

Inhoudelijk gezien vind ik item 4 wel bij het construct (schaal) behoren. Item 6 vind ik inhoudelijk dan veel zwakker. Maar die heeft een item-restcorrelatie van .370.....

Ik vraag mij dan af waar ik beter aan doe. Te kijken naar de onderlinge relaties of naar de rest-correlatie. Wat zou meer doorslaggevend moeten/kunnen zijn? Ik ben me bewust dat wanneer er weinig samenhang tussen de items zijn de homogeniteit van de schaal wordt bedreigd en dit waarschijnlijk betekent dat er extra factoren getrokken moeten worden in de factoranalyse. 

Als ik op basis van de rest-correlaties item 4 (.297) en het item met de minste samenhang (.086) verwijder zijn alle rest-correlaties boven de .30, is de Cronbach Alfa gedaald naar .685 en heb ik slechts 2 geringe samenhang verwijderd. En inhoudelijk vind ik item 4 bij de schaal passen. 

Als ik echter een item verwijderd dat meerdere geringe samenhang verwijder (bijvoorbeeld item 6, welk ik overigens inhoudelijk minder bij de schaal vind passen dan item 4), dan daalt de Cronbach's Alfa naar .672..

Iemand een idee? Alvast hartelijk dank voor het meekijken/denken!

 

in Cross-sectioneel Onderzoek (OCO, PB08x2) door (530 punten)

1 Antwoord

0 leuk 0 niet-leuks

De samenhang tussen al deze items is relatief laag. Je kunt al stellen dat deze items geen herhaalde metingen van hetzelfde construct zijn (een aanname van Cronbach's Alpha).

Het kan zijn dat dit meetinstrument een index betreft in plaats van een schaal, maar het kan ook zijn dat de items niet goed worden geinterpreteerd door je doelgroep en je validiteit dermate sterk is aangetast dat je moeilijk kunt zeggen wat je eigenlijk meet.

Ik adviseer je om dit artikel te bestuderen. Daar wordt het onderscheid tussen indices en schalen besproken, evenals wat verder bepaalt hoe sterk de samenhang tussen je items gaat zijn (constructbreedte). Er is een ander, recenter artikel, verschijnt binnenkort en bespreekt ook de rol van factor-analyse:

Crutzen, R. & Peters, G.-J. Y. (2015) Scale quality: alpha is an inadequate estimate and factor-analytic evidence is needed first of all. Health Psychology Review.

Als je die twee artikelen leest zou je een goede indruk moeten krijgen van wat je kunt doen. Als je daarna nog vragen hebt, kun je die altijd toevoegen als opmerkingen!

door (77.8k punten)
Beste Galt-Jorn,

Wow, verbluffend hoe snel jij altijd reageert, super! Dank voor de artikelen ik ga ze met interesse lezen! Mocht ik er nog vragen over hebben, dan meld ik mij weer, dank!

Hallo Galt-Jorn,

(Sorry) ben ik alweer.... Interessant artikel.

En je hebt gelijk dat ik voorheen R niet heb geïnstalleerd omdat ik nu eenmaal gewend ben aan SPSS.... Maar door jouw heldere instructies heb ik dan toch R geïnstalleerd om de scalereliability te gaan uitvoeren. 

Echter, na de installatie  van de desbetreffende package krijg ik deze foutmelding:

During startup - Warning messages:

1: Setting LC_CTYPE failed, using "C" 
2: Setting LC_COLLATE failed, using "C" 
3: Setting LC_TIME failed, using "C" 
4: Setting LC_MESSAGES failed, using "C" 
5: Setting LC_MONETARY failed, using "C" 
[R.app GUI 1.66 (7060) x86_64-apple-darwin13.4.0]
 
WAARSCHUWING: U gebruikt een non-UTF8 locale, alleen ASCII characters zullen werken. Raadpleeg de R for Mac OS X FAQ (zie Help) section 9 en pas Uw system preferences aan.
 
In de R for Mac OS X kan ik hier niets over terug vinden. Aangezien en zo eigenwijs als ik ben dacht ik dat het alleen om het lettertype zou gaan, dus ben ik doorgegaan met jou instructies. 
 
Het installeren van de userfriendlyscience is gelukt, maar als ik de scalereliability wil uitvoeren geeft hij de volgende melding:
 
> scaleReliability();
Error: could not find function "scaleReliability"
 
Heb jij enig idee? Thanks voor je hulp!

 

Die snelheid hangt er heel erg vanaf of ik net even tijd heb vrees ik :-)

UTF8 is een zogenaamde 'character set', geen lettertype. In bestanden op je computer maken letters en cijfers enzo deel uit van een grote tabel, waar staat welke bits voor welke letter staan (zie http://www.ascii-code.com/). Een 'A' is bijvoorbeeld 0100 0001 in bits; en 8 bits zijn 1 byte. Met 8 bits kun je $2^8=256$ verschillende combinaties maken. Die is de zogenaamde ASCII tabel. Maar er zijn natuurlijk veel meer tekens; Grieks, Arabisch, Cyrilisch, etc etc. Daarom is die uitgebreid. Er zijn verschillende vormen; UTF8 is er een van, een van de meest gebruikte. Het is aan te raden die te gebruiken - maar geen idee hoe je dat instelt in OSX.

Desalniettemin lijkt het verder te werken, dus gewoon negeren zou ik zeggen :-)

Voordat je een package kunt gebruiken moet je het laden. Dat kan met

library('userfriendlyscience');

of met

require('userfriendlyscience');

Daarna zou hij het moeten doen!

Beste Galt-Jorn,

Dank voor je uitleg omtrent ASC-II, weet ik ook weer wat dat is.

Echter had ik jouw instructies goed opgevolgd en had ik eerst het commando require ('userfriendlyscience') gegeven. Hij had hem wel geladen, maar gaf daarna de melding dat hij de reliabilityscale niet kan vinden....

Ben ondertussen verder gegaan met mijn factoranalyse en bemerk dat ik het lastig vind een goede afweging te maken tussen de empirische data (% verklaarde variantie en hoogte residual) versus de inhoudelijke onderscheid naar factoren.

Als ik de optie met de minste residuals neem, dan heb ik een groot aantal factoren (9) waarvan ik vind dat de items inhoudelijk gezien niet echt bij elkaar vind passen. Kijk ik puur en alleen naar de optimale inhoudelijke indeling (obv mijn theorie, zijnde 5 factoren), dan heb ik een residual van 45%... Geen goede fit dus....

Een tussenoplossing is een factoranalyse met 4 factoren (waarbij ik 3 subschalen heb verwijderd die resp. een Cronbach's alpha hebben van .573/.607/.630) met een residual van 17% en 1 factor met items die ik niet bijelkaar vind passen...

Heb jij nog wijsheden in deze? Tot welke hoogte is de residuals nog acceptabel?
De hoogte van de residuals hang toch samen met de storingselementen (verschil tussen geobserveerde correlaties en gereproduceerde correlaties) is deze dan ook afhankelijk van het aantal respondenten?

Is nog niet zo eenvoudig zeg dat statistiek...pfff...(maar stiekem wel leuk!).

Dank wederom voor je inspanningen mij het beter te laten begrijpen!

Dat is vreemd; als hij hem goed laadt zou scaleReliability het ook moeten doen. Je kunt dit gebruiken om het te testen:

if (require('userfriendlyscience')) cat("Hij deed het!");

Als hij dan 'hij deed het' zegt, weet je zeker dat hij goed is geladen.

Je hebt altijd de minste residuals met het meeste factoren. De vraag is dus niet wanneer je de minste residuals hebt, maar welke factoren het 'rendabelst' zijn.

Mijn tips staan samengevat in de twee artikelen waar ik naar verwees: kijk vooral ook naar correlatiematrices, scatterplots (scattermatrices) en histogrammen, de inhoud van items, en gemiddelden en standaard deviaties. Maak dan een keuze en zorg dat je die expliciet uitlegt en onderbouwt.

Als je een keuze heel, heel moeilijk vindt, betekent dat in dit soort gevallen vaak dat er geen 'beste antwoord' is, maar dat beide opties andere voor- en nadelen hebben. (Aangenomen dat je inhoudelijk voldoende competent bent; maar daar zou je met je begeleider wel uit moeten komen; je kunt altijd nog andere experts inschakelen om te helpen met je keuze.) Schalen bouwen is een subjectief proces . . . Dus dat voelt altijd een beetje 'eng' :-)

...