Wat betekent "uitgebreid gevalideerd, en validiteit vastgesteld"? (zie e.g. Maul, 2017 en Hussey & Hughes, 2020).
En - als je stelt dat er geen eenduidig beeld naar voren komt, houd je dan rekening met het feit dat puntschattingen van factorladingen niet informatief zijn?
Net zoals alle andere dingen die je berekent uit een steekproef, komen factorladingen uit een steekproevenverdeling, en zit er dus inaccuraatheid in, als in, als je de steekproef zou herhalen, zou je andere puntschattingen vinden. Daarom is het belangrijk om naar betrouwbaarheidsintervallen te kijken. Dit kan bijvoorbeeld via bootstrapping (zie e.g. deze uitleg hier).
Het is goed mogelijk dat de resultaten gewoon consistent met elkaar zijn, als je rekening houdt met de onzekerheid in je schattingen.
Verder is het zo dat validiteit geen kenmerk is van een meetinstrument, maar van toepassing van een meetinstrument in een populatie. Als ik een Nederlandse vragenlijst afneem in Korea is die niet valide, los van hoe die vragenlijst presteert in Nederland. Zie voor meer informatie Crutzen & Peters (2015).
Je kunt dus wel concluderen dat de schaal niet presteerde zoals ontworpen in jouw steekproef. Dat impliceert dat je meetmodel geen stand houdt en je die resultaten dus niet zomaar kunt gebruiken. Je weet immers niet waar die geaggregeerde scores dan over gaan.
Ik ben zelf heel sceptisch over de 'sacrosanct' status van 'gevalideerde instrumenten' - in mijn ervaring houdt 'validatie' niet veel in, behalve wat schatters van interne consistentie berekenen, een factor-analyse doen, wat correlaties, en als je geluk hebt een normtabel produceren (die nog het nuttigst is maar geen evidentie voor validiteit is).
Ik denk dat dat stellen dat je kennelijk niet precies meet waar het instrument voor is ontworpen niet erg is; je kunt de items bekijken en kijken of er andere zinvolle aggregaties zijn. Als je je data en analysescripts maar openbaar maakt, kan iedereen precies zien wat je doet en alternatieve analyses uitvoeren als ze denken dat je iets fout deed.
Uiteindelijk zijn alle wetenschappelijke beslissingen subjectief; dat geldt evenzeer voor kwantitatief onderzoek als voor kwalitatief onderzoek. Zo lang je dus je beslissingen en onderbouwingen transparant rapporteert, ben je integer bezig.