Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Respondenten verwijderen?

0 leuk 0 niet-leuks

Als een online survey voor werknemers is afgenomen bij 114 respondenten en achteraf lijkt:

1. 86 respondenten zijn daadwerkelijk werknemer

2. bij verwijdering van de niet werkende respondenten neemt de R2 met 38 % toe

3. bij verwijdering van deze respondenten is i.p.v. predictor A een beetje significant, predictor B heel erg significant

4. bij verwijdering van de niet-werkenden stijgt de Cronbach's Alpha van predictor B van .92 naar .97

is het dan legitiem deze respondenten te verwijderen of is het beter in de discussie aan te geven dat de sample niet goed is?

gevraagd 1 juli 2017 in Anders door Rotíste (2,880 punten)
bewerkt 1 juli 2017 door Rotíste

1 Antwoord

0 leuk 0 niet-leuks

Coefficient alpha is een slechte maat die je beter kunt vermijden: zie http://userfriendlyscience.com/reliability. Belangrijker dan dat het geen goede maat is, is het te veel sturen op en kwantitatieve indicator geen goede gewoonte. Zo negeren al die kwantitatieve indicatoren voor interne consistentie en/of betrouwbaarheid de validiteit van een meetinstrument. Kijk dus altijd (vooral) naar visualisaties, zoals scatterplots van de samenhang tussen items in een vragenlijst, en tussen variabelen met andere variabelen.

Verder: ik zou beide analyses rapporteren. Een (die waar je het minste vertrouwen in hebt) kun je slechts summier beschrijven, en uitgebreider in de supplemental materials. Maar omdat je niet precies weet wat je doet (met het verwijderen van die deelnemers), kun je niet goed een van beide analyses een andere status toekennen. Idealiter had je zoveel mensen gehad dat je twee voldoende grote subgroepen had gehad om hier meer in detail naar te kijken, maar nu is het moeilijk om echt te zeggen waarom e.g. die $R^2$ zo sterk toeneemt (toeval? Systematische verstoring door die deelnemers die je dan verwijdert?).

Dit maakt je interpretatie en discussie een stuk lastiger natuurlijk - maar jammer genoeg is er geen integere manier om dat verder te versimpelen, als de realiteit zo complex is.

Dus ik zou zeggen: beschrijf primair de analyses zonder die deelnemers; en beschrijf in parallel (maar secundair) wat er gebeurt als je ze had behouden.

beantwoord 3 juli 2017 door gjp (63,300 punten)
...