Question

Is (een gedeelte van) de vragenlijst uit https://doi.org/10.1016/j.emj.2011.03.003 valide, als:

1) over de schaal ​procedurele rechtvaardigheid​ die ik wil gebruiken o.a. gezegd wordt in het artikel: "We used six items from the scale developed by Moorman (1991) related to the fairness of organizational procedures."

2) over de schaal straf​ die ik wil gebruiken o.a. gezegd wordt in het artikel: "The six-item scale used to measure punishment threats was based on the scale of levels of severity of disciplinary action established by Trahan and Steiner (1994). Taking into account the disciplinary procedure at the organization researched, we selected and adapted six of the 12 items from the scale. We chose sanctions we thought respondents would consider plausible in the case of deciding to engage in deviance (warning/letter of reprimand, verbal caution, etc.) (see Appendix).

3) over de schaal wangedrag op het werk​ die ik wil gebruiken o.a. gezegd wordt in het artikel: "We used a 12-item scale developed by Bennet and Robinson (2000) to assess employee deviance directed at the organization. Special features of the collective of teachers and their organization led us to select six DWBO-related items."  

en als alle analyses die met deze schalen worden uitgevoerd goed zijn?

Answer 1

Nee.

Validiteit (en betrouwbaarheid) zijn kenmerken van toepassingen van operationalisaties in steekproeven, niet kenmerken van operationalisaties (i.e. meetinstrumenten, in dit geval dus vragenlijsten).

Dat is logisch: operationalisaties bestaan altijd uit stimuli (en bij meetinstrumenten ook uit procedures om een respons te registreren). Stimuli worden geinterpreteerd door de onderzoekseenheden (meestal mensen, oftewel deelnemers). Hoe een stimulus (e.g. een vraag) wordt geinterpreteerd hangt bijvoorbeeld af van de taal, cultuur, context, etc. Taal verandert over tijd; operationalisaties die vijftig jaar geleden ontwikkeld zijn (i.e. in de jaren 60, 70) hoeven nu niet langer valide te zijn. Cultuur en context veranderen natuurlijk ook.

Een handig voorbeeld is een Nederlandse operationalisatie die wordt toegepast in een steekproef met Franse deelnemers. Deze zal niet valide zijn. Dit is een handig voorbeeld door het gebrek aan subtiliteit, maar het is belangrijk je te realiseren dat validiteit en betrouwbaarheid dus geen kenmerken kunnen zijn van operationalisaties. Als je de betrouwbaarheid en validiteit van een operationalisatie in kaart brengt in een steekproef, dan kan die in een andere steekproef anders zijn.

Je moet de validiteit en betrouwbaarheid van een operationalisatie dus elke keer opnieuw verifieren voor zover mogelijk gegeven je design. Manipulatiechecks zijn voorbeelden van de verificatie van de validiteit van een operationalisatie (specifieker, van een manipulatie, een operationalisatie die is ontworpen om een construct te beinvloedden).

Dus, wat in een artikel wordt gemeld over een operationalisatie is geen garantie van validiteit. Helemaal niet omdat ze alleen beschrijven welke keuzes te hebben gemaakt, zonder dit te onderbouwen, en zonder aan te geven hoe de gemeten datareeksen zich verhielden tot datareeksen van andere, gerelateerde (of juist ongerelateerde) constructen. De fragmenten die jij noemde geven dus weinig informatie over validiteit. Alleen als je soort van blind vertrouwd op die onderzoeker kun je er op basis van die informatie vanuit gaan dat de betreffende operationalisaties valide zijn.