Validatie is, als je er grondig naar gaat kijken, een beetje overrated. Validiteit en betrouwbaarheid zijn geen eigenschappen van meetinstrumenten - het zijn eigenschappen van afnames van meetinstrumenten. Dit komt omdat meetinstrumenten worden geinterpreteerd, en dingen als taal veranderen tussen regio's, (sub-)culturen, en over tijd. Bijvoorbeeld: een Nederlandse depressie-schaal kan het prima doen in 40- to 50-jarigen, maar niet in 40- tot 50-jarige Koreanen (want die kunnen geen Nederlands lezen). Maar ook niet in 80 tot 90-jarigen, omdat die andere uitdrukkingen gebruiken. Of 8- tot 12-jarigen.
Bovendien worden validaties vaak (foutief) gebaseerd op puntschattingen: enkele waarden van betrouwbaarheidsschattingen of factorladingen, in plaats van op betrouwbaarheidsintervallen. Die puntschattingen verschillen van steekproef tot steekproef, want die komen tot stand door toeval, en zijn in zichzelf dus niet informatief, als je niet weet hoe breed de bijbehorende steekproevenverdeling is. Die informatie zit in de betrouwbaarheidsintervallen.
Er is dus weinig reden om aan te nemen dat een factorstructuur of betrouwbaarheidsschatting uit eerder onderzoek ook 'geldt' voor jouw steekproef.
Het is dus vooral belangrijk om te kijken naar de inhoud van de vragenlijst en die te vergelijken met de precieze theoretische definitie van je doelconstruct. Een precieze theoretische definitie is sowieso cruciaal: je moet weten wat je precies wil meten, uit welke aspecten van de menselijke psychologie dat bestaat, en waar het niet uit bestaat.
Als je die eenmaal hebt, is dat het beste hulpmiddel om een operationalisatie te kiezen.
Zie voor een kader bij het nadenken over operationalisaties dit artikel en de er op volgende discussie op https://pragmaticnihilism.com.
