De vraag is mij niet echt duidelijk, maar de vraag heeft op zich toch een algemeen antwoord, dus ik geef alvast een antwoord.
Alleerst: een vragenlijst altijd gebruiken zoals deze bedoeld is. Als de vragenlijst ontworpen is om de som van 'iets' te berekenen, dan zou ik dat doen. Als je weinig data hebt kan het ook nog zinvol zijn om op itemniveau te werken, maar dat zou ik van het instrument laten afhangen. Als de vragenlijst bedoeld is om kennis en attitude als aparte constructen te behandelen: volg de instructie.
De eerste vraag daarna is eigenlijk wat het betekent om een gevalideerde vragenlijst te hebben. Hier draai ik bewust de vraag om, want hoewel mensen snel geneigd zijn om een vragenlijst niet-gevalideerd te noemen, ben ik er niet zo zeker van of wat men 'gevalideerd' noemt ook daadwerkelijk gevalideerd betekent.
Er zijn allerlei statistische en niet-statistische poorten die een vragenlijst door zou moeten, naar de gelang de vraag. Een vragenlijst die nog niet met statistische methoden getoetst is, maar wel het product is van een lange onderhandeling en breed gedragen consensus onder experts heeft een andere status dan een vragenlijst die ik in de kroeg met willekeurige bezoekers gisteravond in een dronken stupor in elkaar heb geknutseld.
Als de vragenlijst dus op zijn minst face-valide is, en een goede literatuurzoektocht, of een ander transparant proces maakt aannemelijk dat de vragenlijst constructvalide is, dan zie ik weinig problemen met het gebruik van de vragenlijst, mits deze ook getoetst wordt aan de data. Dan nog: gebruik de vragenlijst zoals de maker bedoeld heeft. Knutsel niet zonder onderbouwing zelf nieuwe subschalen in elkaar
Wat veel mensen validatie noemen is eigenlijk weinig meer dan het spelen met betrouwbaarheid, en daar een valideitsvraag uit te puzzelen. Als je twijfelt over de subschalen, bijvoorbeeld omdat je de items goed gelezen hebt en daar eigenlijk een andere logische indeling van items in waarneemt, dan kan een factoranalyse (confirmatorisch, of exploratief) uitkomst bieden. De factoranalyse maakt het mogelijk om de dimensionaliteit van het construct te exploreren of te toetsen, en dat kan dan als onderbouwing dienen om af te wijken van de oorspronkelijke bedoeling. Veel mensen noemen de factoranalyse al een 'validatie'.
Als je vervolgens scores tussen populaties wilt vergelijken, dan is deze validatie niet voldoende. Zie bijvoorbeeld Gregorich (2006) voor een toelichting over hoe het twijfelachtig is om somscores (bijvoorbeeld) tussen groepen te vergelijken, zonder te bewijzen dat de vragenlijst hiertoe in staat is:
Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups? Medical Care, 44, S78–S94.
Dus kort antwoord: als de vragenlijst bedoeld is om somscores op te berekenen, dan zou ik dat doen. Als je wilt weten of de vragenlijst hiertoe geschikt is, en je hebt voldoende grote N om de dimensionele structuur van de vragenlijst te evalueren, dan zou ik dat eerst doen.