Veel bestaande ("gevalideerde") instrumenten werken eigenlijk niet goed. Hier zijn talloze redenen voor:
- Als een operationalisatie (en een vragenlijst/instrument is een operationalisatie) werkt in een steekproef, hoeft hij niet ook te werken in een andere steekproef; er zijn verschillen in interpretatie van uitdrukkingen/taal, (sub-)culturen, leeftijd, opleidingsniveau, etc;
- Taal/interpretatie verandert over tijd;
- "Validatie" gebeurt niet altijd voldoende grondig, e.g. met betrouwbaarheidsintervallen, waardoor je niet altijd weet hoe stabiel de factorladingen en waarden van coefficienten zijn
De verklaring hoeft dus niet met de aard van het instrument samen te hangen. Het gebeurt vaak dat, als je factor-analyses doet van een gevalideerd instrument, je niet ze juiste factorstructuur vindt (en factor-analyses zijn belangrijker dan betrouwbaarheidscoefficienten - sterker nog, je moet altijd eerst een factor-analyse doen voordat je betrouwbaarheidscoefficienten berekent, zie http://www.tandfonline.com/doi/full/10.1080/17437199.2015.1124240).
Om te weten wat de verklaring is zou je meer onderzoek moeten doen. Je weet wel al zeker dat je dus niet weet of je hebt gemeten wat je wilde meten: de validiteit kan aangetast zijn, dus je kunt geen sterke conclusies meer trekken.
Zie trouwens ook http://www.ehps.net/ehp/index.php/contents/article/download/ehp.v16.i2.p56/1 - sommige operationalisaties zijn niet ontworpen als schalen maar als indices, en een index hoort in principe geen hoge coefficient Alpha te hebben (kan wel, maar verwacht je niet noodzakelijkerwijs).