Allereerst: meetfout is geen kenmerk van een operationalisatie, maar van de toepassing van een operationalisatie in een specifieke steekproef. In sommige steekproeven kan de meetfout groter zijn dan in andere, bijvoorbeeld als de steekproef komt uit een populatie met concentratieproblemen, of als de steekproef is genomen op een moment dat er veel verstoring is (e.g. data worden verzameld tijdens een college terwijl er wordt geboord of iemand flauwvalt ofzo).
Meetfout is een random verstoring van de meting. Meetfout is gedefinieerd als gemiddeld nul (en meestal als normaal verdeeld). Meetfout is dus onhandig, want die resulteert in ruis waardoor je meer datapunten nodig hebt; maar geen echt probleem. Want je kunt 't oplossen met meer datapunten. Betrouwbaarheid is de ontvankelijkheid van een meetinstrument voor meetfout. Als een meetinstrument gevoelig is voor meetfout (een slechte weegschaal, die random altijd wat te veel of te weinig aangeeft, bijvoorbeeld), dan is die onbetrouwbaar.
Validiteit is veel complexer. Dat gaat over of je meet wat je wil meten. Net als meetfout kun je niet van validiteit spreken bij 1 datapunt: het is een uitspraak over het gebruik van een meetinstrument in het algemeen, dus om meerdere datapunten in een steekproef te verzamelen.
Waar meetfout gemiddeld nul is, en dus 'uitmiddelt', geldt dat juist niet voor bedreigingen van de validiteit: die kun je nooit uitmiddelen. Je kunt verlaagde validiteit niet oplossen door meer datapunten te meten. Een voorbeeld van verlaagde validiteit is een weegschaal die altijd een hoger gewicht aangeeft naarmate iemand langer is: zodat twee personen die even zwaar zijn, maar niet even lang, toch op die weegschaal een verschillend gewicht hebben. Een ander voorbeeld is een IQ-test die ook taalvaardigheid meet.
Een bedreiging van de validiteit is inderdaad bias.
Maar meetfout is geen bias - meetfout verstoort je metingen niet. Alleen voor elk meetpunt op zich, maar je meetinstrument werkt nog prima, alleen heb je meer data nodig.
Met een meetinstrument met een lage betrouwbaarheid maar een hoge validiteit kun je een goede schatting van het doelconstruct krijgen. Je hebt superveel datapunten nodig, maar het is wel mogelijk.
Met een meetinstrument met een hoge betrouwbaarheid maar een lage validiteit kun je nooit een goede schatting van het doelconstruct krijgen. Je kunt lage validiteit niet oplossen: je meet dan niet wat je moet meten (bijvoorbeeld: je meet maar een deel van je doelconstruct; of je meet naast je doelconstruct nog (een deel van) een ander construct), maar je weet niet precies wat er fout gaat (anders was je meetinstrument immers wel valide: dan zou je het probleem gewoon oplossen).
Bias is een systematische verstoring - meetfout is een random verstoring.
Omdat bias systematisch is (en het 'systeem' onbekend is), is het niet op te lossen. Omdat meetfout random is, is de oplossing simpelweg 'brute force' - meer meetpunten verzamelen.
