Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

0 leuk 0 niet-leuks
Als een item negatief laadt in een component, betekent dit dat ik dit item onmiddellijk moet verwijderen? Of is het de bedoeling dat ik eerst kijk naar de interne consistentie met dit item en vervolgens zonder dit item en pas daarna mijn besluit nemen?
 
in Schaalconstructie door (390 punten)

1 Antwoord

0 leuk 0 niet-leuks
Nee. Een negatieve lading is ook een lading. Bij factoranalysen zijn negatieve ladingen niet fout. Wellicht dat je het item later wel wilt ompoolen.

Interne consistentie (alpha) is een compleet andere testtheoretische benadering; PCA en cronbach's alpha mengen heeft daarom geen zin. PCA is geen maat van interne consistentie, en daar komen andere regels bij kijken.
door (63.5k punten)
Ik weet dat PCA geen maat is om de interne consistentie te meten. Om te bepalen of je een item moet verwijderen ja of nee dacht ik om onderstaande uit te voeren

- itemanalyse, kijk naar correlaties (wat valt op) en kijk naar de kolom of de Alpha wordt verhoogd als je een bepaald item zou verwijderen

- PCA, kijk naar de factoren/componenten en check of datzelfde item wederom eruit springt. Zo ja, verwijder het item en bepaald daarna opnieuw de Alpha. Zo nee, behoud dit item in je vragenlijst.

De volgorde die ik zou adviseren is:

  1. Check de scatterplots van de verbanden tussen alle items, en kijk of correlaties een juiste weergave zijn van die verbanden (de verbanden moeten lineair zijn). Als je iets niet begrijpt, overleg dan met mede-onderzoekers. Denk er aan je besluiten, en de argumenten ervoor, de documenteren, bijvoorbeeld met comments in je analyscripts (e.g. syntax).
  2. Bekijk de correlatiematrix om te kijken hoe sterk de items met elkaar samenhangen. Interpreteer deze in het kader van de inhoud van de items (i.e. de vragen zelf). Als je iets niet begrijpt, overleg dan met mede-onderzoekers. Denk er aan je besluiten, en de argumenten ervoor, de documenteren, bijvoorbeeld met comments in je analyscripts (e.g. syntax).
  3. Als er items zijn die je vergeten bent terug te spiegelen, spiegel die dan terug, en herhaal dan 1 en 2. Als 1 en 2 leiden tot het besluiten een of meer items te verwijderen, verwijder die dan.
  4. Voer je factor-analyse uit. Als een item dan negatief correleert met een factor, en je dat niet begrijpt, overleg dan met mede-onderzoekers. Denk er aan je besluiten, en de argumenten ervoor, de documenteren, bijvoorbeeld met comments in je analyscripts (e.g. syntax).
  5. Ga dan per factor betrouwbaarheids indicatoren berekenen (e.g. Omega en GLB, eventueel Cronbach's Alpha).

Onthoud hierbij dat eigenwaarden, factorladingen, en betrouwbaarheidsindicatoren schattingen zijn, en dus altijd een foutenmarge hebben (je kunt je er een betrouwbaarheidsinterval omheen voorstellen). Vermijd dus beslissingen op basis van 'cut-off values' zoals .4 of .3. Belangrijker is dat je begrijpt wat er gebeurt, en dat je al je beslissingen kunt onderbouwen (en dit uitlegt, bijvoorbeeld als comments in je analysescripts).

Je kunt in principe niets fout doen: het enige dat je fout kunt doen is een regel blind toepassen, welke regel dat ook is.

(voor de duidelijkheid: het idee is dus dat je de informatie uit alle bronnen combineert, en dan een onderbouwd besluit neemt. Wat voorbeelden:

  • "Item 4 correleert zwak met alle andere items, en laadt negatief op de ene factor en niet op de andere. De inhoud van het item geeft aanleiding te vermoeden dat het item wellicht ambigue is gesteld. De verdeling, die ietwat tweetoppig is, is hiermee in lijn. Dit item wordt daarom weggelaten uit verdere analyses."
  • "Item 6 laadt zwak op de ene (theoretisch juiste) factor en niet op de andere factor. Het correleert echter volgens verwachting met de andere items, en op basis van de inhoud kan worden gesteld dat het een aspect van het betreffende construct meet dat theoretisch relevant is maar niet wordt gedekt door andere items. Bovendien is dit item ietwat linksscheef verdeeld, terwijl de meeste andere items in dezelfde factor ietwat rechtsscheef zijn verdeeld. De factorlading kan daarom deels door deze afwijkende verdeling worden verklaard. Dit item wordt daarom behouden."
  • "Item 8 is scheef verdeeld, maar laadt desalniettemin goed op de factor waar hij theoretisch onder valt, en niet op andere factoren. Bovendien zijn de correlaties met andere items zwak tot gemiddeld, en meet het item (op basis van de inhoud) een aspect van het doelconstruct dat door andere items bij niet wordt gemeten. Omwille van de validiteit wordt dit item daarom behouden."
  • "Item 2 laadt op de juiste factor, correleert positief met de andere items in dezelfde factor, en is redelijk normaal verdeeld. Dit item wordt behouden" (je kunt ook besluiten om alleen de items die je eruit gooit, of behoudt ondanks dat er ergens een indicatie is dat ze er uit zouden moeten, onderbouwt)
  • "Item 12 laadt even sterk op beide factoren. Het correleert wel middelsterk met de andere items, en is ongeveer normaal verdeeld. Het lijkt er op dat dit item een relevant aspect meet van het superconstruct (algemene overkoepelende variabele), maar dat dat aspect niet specifiek tot een van beide subconstructen (subschalen) behoort. Dit item wordt niet in een van de schalen opgenomen, maar zal wel exploratief als 1-item measure worden meegenomen in verdere analyses."

Dit kunnen andere wetenschappers (of, als je onderwijs volgt, je begeleider) dan bestuderen, en dan hebben ze aanwijzingen over welke analyses ze eventueel anders willen uitvoeren met je data.

(ik hoop dat dit de uitspraak "Je kunt in principe niets fout doen: het enige dat je fout kunt doen is een regel blind toepassen, welke regel dat ook is." ook wat verduidelijkt)

Jazeker Gjalt-Jorn, het is mij nu duidelijk. Ik heb besloten om alleen de items die twijfelachtig zijn en eventueel moeten worden verwijderd te onderbouwen met argumenten waarom ik ze wel of niet behoud in mijn analyses.

Ook begrijp ik dat ik de resultaten uit verschillende bronnen (histogram, scatterplot, etc.) moet combineren om tot een conclusie te komen. Ik ga ermee aan de slag!

Thnx voor je gerichte commentaar!
Zie jouw antwoord sub nr. 3: waarom zou ik willen "terug spiegelen"?

Als ik er eenmaal voor heb gekozen om een item te gaan spiegelen omdat eea dan logischer lijkt of te benaderen is, dan ga ik toch niet weer terug spiegelen?
Ik bedoelde daar items die ontworpen zijn als gespiegelde items, maar die je was vergeten omgekeerd te coderen. Dit puntje was dus een reminder om te checken of je dat niet bent vergeten. Als je een item dus als terug hebt gespiegeld, moet je dat inderdaad niet nogmaals doen!
...