Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Zijn er vaste normen voor de betrouwbaarheid van studietoetsen met zak/slaagbeslissingen?

0 leuk 0 niet-leuks
Een zak-slaagbeslissing die afhangt van een of meer examens heeft een grote civiele waarde. Iemand die zakt, moet een studiejaar overdoen, opnieuw collegegeld en levensonderhoud betalen etc. Daarom is het niet teveel gevraagd dat studenten de maat wordt genomen met betrouwbare examens.

Zijn er eigenlijk vaste normen voor de statistische betrouwbaarheid van zulke examens (GLB of Cronbach's alpha)? Vaak kom ik het idee tegen dat de betrouwbaarheid 0,80 'hoort' te zijn, maar de bron of beargumentering van die opvatting ken ik niet.

Het komt voor, ook bij landelijke CITO-examens, dat studenten getest worden met een examen dat een lage betrouwbaarheid heeft (0,60 of zelfs lager). Is dat dan 'te' laag? Zou een student kans hebben op succes als hij klaagt over deze tekortkoming?
gevraagd 2 juni 2017 in Anders door mcouzijn (120 punten)

1 Antwoord

0 leuk 0 niet-leuks
Voordat ik echt inga op je vraag: coefficient Alpha moet sowieso vermeden worden, zie e.g. http://userfriendlyscience.com/reliability.

Zoals ik uitleg in het eerste artikel waar ik daar naar link, zijn 'harde cut-offs' meestal een heel slecht idee. Hoe hoog een indicator moet zijn is sterk afhankelijk van context, en bij meting van variabelen ook van hoe breed het construct is dat je wil meten.

Neem bijvoorbeeld een toets van een grote cursus (e.g. Inleiding in de Psychologie): deze toets zal meer verschillende dingen beogen te meten dan een enge cursus, en je kunt dus verwachten dat als dat lukt, de gemiddelde inter-item correlatie lager is.

Wij als universiteit nemen betrouwbaarheid van onze toetsen natuurlijk heel serieus. Voor Inleiding Data Analyse gebruiken we itembanken, en dat maakt het mogelijk om te kijken of een item bijvoorbeeld consequent fout wordt gemaakt. Dit is een fijnmaziger (en ik denk zelf betere) benadering dan een kwantitatieve indicator berekenen zoals coefficient omega.

Een ander belangrijk punt is dat je voor een toets een 5.5 (of bij sommige instellingen een 6) moet halen.

Dat is niet omdat je maar iets meer dan de helft van de stof hoeft te begrijpen.

Je moet alle stof volledig, 100%, beheersen.

Echter, je slaagt toch als je een lager cijfer haalt dan een 10 omdat we erkennen dat meting altijd meetfout bevat (en meetfout is het omgekeerde van betrouwbaarheid).

Kortom, de reden dat je je toets haalt met een 6 is juist omdat in het systeem al rekening wordt gehouden dat je misschien last hebt van meetfout, en dat je in een extreem geval, ondanks dat je de stof perfect beheerst, in theorie maar een 6 kunt halen. Misschien heb je een slechte dag; misschien heb je stress in de prive-sfeer; misschien wordt je gestoord tijdens de toets, of is het toetslokaal erg warm of benauwd; misschien heb je toevallig allemaal items die niet aansluiten op hoe jij de stof hebt bestudeerd; of misschien wel allemaal tegelijk.

Er zijn dus twee mechanismen die we toepassen om te bewaken dat onze toetsen goed werken: ten eerste bewaken we de kwaliteit van de toetsen systematisch en nauwgezet, en ten tweede houdt de toetsprocedure rekening met e.g. meetfout door studenten te laten slagen ook al halen ze geen 10.

Als een student hierover zou klagen, dan is dit, neem ik aan, ook het antwoord van de examinator of examencommissie.

Overigens is dit een ander verhaal dan wanneer je een fout in een item hebt gevonden. Want wij (de examinatoren en docenten) zijn mensen, dus ook al doen wij ons uiterste best om de kwaliteit van de itembanken te optimaliseren, desondanks is het mogelijk dat er onvolkomenheden tussendoor glippen.

Als jij die als student aantreft, kun je altijd een beroep indienen. De examinator kan het item dan bekijken en uit de itembank laten halen (of verbeteren), en bovendien zorgen dat het voor jou vervalt (als er een fout in het item staat) of goed wordt gerekend (als de antwoordsleutel verkeerd om was). Als het item vervalt wordt overigens ook de cesuur aangepast, dus dit heeft zelden invloed op je cijfer. Dat is een goed teken natuurlijk: het toont aan hoe robuust de toetsen zijn tegen zeldzame foutjes.

Maar het gegeven dat toetsen, net als alle andere meetinstrumenten, geen 100% betrouwbaarheid hebben, dat wordt al meegenomen in de toetsingsprocedure en is de reden dan niet iedereen een 10 hoeft te halen om te slagen. Daar over klagen heeft dus geen zin.
beantwoord 2 juni 2017 door gjp (64,270 punten)
...