is betrouwbaarheid nu wel of niet een voorwaarde voor validiteit?

Question

Figuur 1.2.11 suggereert dat een instrument valide kan zijn zonder dat het betrouwbaar is. Maar dat kan toch niet? Als je elke keer een andere waarde krijgt, dan kun je toch ook niet zeggen wat je gemeten hebt?

Answer 1

De meningen hierover zijn verdeeld, maar eigenlijk is (volgens mij) het enige juiste antwoord: nee.

Betrouwbaarheid betreft de willekeurige ruis rond de 'ware score'. De validiteit betreft de vraag of we uberhaubt op die 'ware score' mikken.

Het probleem onstaat omdat we eigenlijk die ware score in de populatie niet weten (anders zouden we die ook niet meer hoeven meten). De discussie die dan onstaat is deels een gevolg van semantische verwarring: validiteit heeft een enge definitie in een statististische context, en een brede definitie in gewone taalgebruik

Validiteit, in de volksmond, komt vaak neer op 'goed, of bruikbaar'. In die zin: een onbetrouwbare vragenlijst is niet bruikbaar, en je kunt zeggen dat als de meting dusdanig all-over-the-place is, dat dit op zichzelf een indiciatie moet zijn dat er niet gemeten wordt wat er gemeten moet worden. Echter: validiteit in enge zin gaat echt specifiek over het niet meten wat je wilde meten. Dus, hoewel een onbetrouwbare vragenlijst een hint kan zijn van een valideitsprobleem, is dat slechts spurieus: dat er een vermenging kan zijn van 'error' betekent niet dat het een automatisch doorwerkt in het ander.

Dus: betrouwbaarheid en validiteit staan in wezen los van elkaar. Bij 'toeval' kan er wel eens een overlap zijn, maar dat is nooit een gegeven. Een onbetrouwbaar instrument kan nog steeds valide zijn, maar dat maakt het nog niet goed of bruikbaar ;).