Conclusies over convergente en divergente validiteit zijn gebaseerd op:
- Voorspellingen over hoe groot een correlatie precies is tussen de datareeksen behorende bij de meetinstrumenten voor enerzijds je doelconstruct en anderzijds een tweede construct. Voor convergente validiteit is dit bijvoorbeeld "de correlatie moet minimaal .3 zijn, maar maximaal .5" of zoiets; voor divergente validiteit kan het iets zijn als "de correlatie zit tussen -.1 en .1 in".
- Evidentie over de betreffende correlatie uit een steekproef.
Je moet dus schatten hoe groot de correlatie in de populatie precies is.
Daarvoor moet je correlaties schatten met een zekere accuraatheid. Je kunt niet berekenen hoeveel deelnemers je hiervoor nodig hebt met power-analyses (die altijd uitgaan van het gebruik van nulhypothese-toetsing, oftewel, p-waarden); in plaats daarvan gebruik je de 'accuracy in parameter estimation' benadering, oftwel, je berekent hoeveel mensen je nodig hebt om een betrouwbaarheidsinterval met een gegeven breedte te verkrijgen. Hiervoor staan tabellen op https://openmens.nl/correlaties-en-steekproefomvang
NB: iets geavanceerder is om rekening te houden met de zogenaamde attenuatie van de correlatie doordat meetinstrumenten niet perfect betrouwbaar zijn. Deze minder-dan-perfecte betrouwbaarheid manifesteert zich in een lagere steekproefcorrelatie dan de populatiecorrelatie is: met andere woorden, een bias naar 0 toe. Hiervoor kun je corrigeren door de steekproefcorrelatie te delen door de wortel van het product van de betrouwbaarheden van de twee meetinstrumenten, bijvoorbeeld:
$$r_{xy} \over \sqrt(r_{xx} r_{yy})$$
Waarbij $r_{xx}$ en $r_{yy}$ voor de twee betrouwbaarheden staan.
