Hoewel PAF (principal axis factoring) op zeer belangrijke wijze afwijkt van PCA (principal component analysis) zijn ze op conceptueel niveau voldoende vergelijkbaar om orthoginale rotatie te bespreken vanuit PCA, wat een eenvoudiger wiskundig kader betreft:
Hoe werkt PCA in een notendop
Een PCA probeert correlaties tussen items (variabelen) in een plaatje uit te drukken. Precieser: het probeert de correlatie tussen items uit te drukken in termen van coordinaten in een (meer)dimensionale ruimte. Er zijn in principe evenveel dimensies als dat er items (variabelen) zijn: waarbij iedere dimensie (as in een assenstelsel) een item representeert. Het probleem is echter dat deze dimensionaliteit voor ons weinig waarde heeft: theorievorming wordt erg lastig als we een 'verklaring' hebben waarbij we voor de waarde op ieder item een verklaring moeten vormen. Grote kans dat items gecorreleerd zijn, en dat we een patroon kunnen visualiseren in minder dimensies dan 'alle items los bekijken'. Dat is eigenlijk in een notendop de raison d'etre van een PCA.
De PCA (en in aangepaste vorm dus ook de PAF) probeert dit te bereiken door in zo min mogelijk dimensies zo veel mogelijk te verklaren. Als alle items eigenlijk identiek zijn: hoger scoren op ieder item betekent altijd hoger scoren op een doelconstruct (bijvoorbeeld alle items in een zelfwaarderingsschaal zijn perfecte facetten van zelfwaardering) dan heb je niet meer dan één dimensie nodig: laag scoren op 1 item betekent laag scoren op alle items, en idem voor hoog scoren. Alle items correleren dus niet zozeer hoog met elkaar (als een soort toevalligheid), maar hun correlatie komt voort uit het feit dat zij allen facetten, manifestaties, zijn van een onderliggende 'zelfwaardering' (plus eventuele meetfout). Dit heet dan een eendimensionale oplossing.
Het bepalen van de eerste principale component: roteren
Helaas kan de PCA niet naar een plaatje kijken zoals wij. PCA is een beetje 'dom' en kan alleen een assenstelsel bekijken met een horizontale en een vertikale as. Dat betekent dat als we een tweedimensionale oplossing hebben (dus te visualiseren in een X en een Y-as) dat patronen die niet 'mooi recht' liggen voor de PCA moeilijk te zien zijn. Hier komt roteren van toepassing. Een primitieve, maar effectieve manier om de eerste relevante dimensie te vinden (de eerste principale component) is om aan de assen te draaien als ware het een stuurwiel van een schip. De kunst is dan om net zo lang te draaien aan de assen totdat de x-as de grootste spreiding van de puntenwolk heeft.
Denk hierbij aan een regressieanalyse: normaliter is bij een hoge correlatie de puntenwolk dun en diagonaal. Als er een rechte horinzontale lijn door de puntenwolk getrokken wordt, en loodrechte lijnen naar ieder item/punt, dan is de dekking van deze 'schaduw' (projectie) smaller dan wanneer je een lijn diagonaal dwars door de puntenwolk tekent.
Ter illustratie hieronder een PCA zonder (links) en met rotatie (rechts) in een zoektocht naar de beste eerste component/dimensie. Merk op dat de linkerfiguur veel ruis heeft (lange lijnen van fitlijn naar punten), en een smaller 'verklaard' deel (grijs gebied links) dan de geroteerde oplossing in de rechtfiguur (het donkere deel in het grijs is even lang als het grijze deel in de linkerfiguur, ter referentie). Merk ook op dat de rechterfiguur veel minder ruis rond de fitlijn (eerste component) heeft.
Het zoeken naar de tweede principale component: orthogonaliteit
En dan: orthogonaliteit. De PCA kan na het vinden van de eerste as, waarbij de x-as zo geplaatst is dat de punten maximaal gespreid op de lijn liggen, beginnen met zoeken naar de tweede as. Als verondersteld wordt dat de twee dimensie volledig onafhankelijk is van de eerste dimensie, dus correlatie = 0, dan spreekt men van orthogonaliteit. Deze onafhankelijkheid heeft tot gevolg dat er op de eerste dimensie een loodrechtlijn wordt geplaatst. Bij een zoektocht op twee dimensies heeft de PCA dus twee opdrachten:
Het stuurwiel (assenstelsel) rotereren totdat:
- De eerste as zoveel mogelijk spreiding van de items dekt langs/op de lijn
- De eerste as zo min mogelijk spreiding van de items dekt van de lijn af.
- bij rotatie: herhaal stap 1 en 2 totdat zoveel mogelijk dimensies aan dezelfde regel als 1 en 2 voldoen.
Dus, bijvoorbeeld bij het voorbeeld van de regressielijn; de beste assen in PCA termen zijn bij een orthogonale rotatie: de eerste as die als een regressielijn door diagonaal door de puntenwolk gaat, en de tweede as die daar loodrecht op enkel de spreiding rond de regressielijn weergeeft. Dit hoort dan een lange lijn op te leveren in de richting van het verband, en een dun lijntje in de richting van de spreiding rondom dat verband.
Contrast met oblique rotatie
Deze benadering heeft enkel zin wanneer twee variabelen letterlijk nul verband met elkaar hebben. Dit is wellicht zinvol wanneer de PCA gebruikt wordt op zulke variabelen, zoals bacteriekolonies in een kweek bijvoorbeeld. Maar in de psychometrie hebben we het over items in een vragenlijst die by design gecorreleerd zijn. Ze horen immers
- hetzelfde construct te meten, of
- items te zijn in subschalen die facetten zijn van een hogere orde construct (bijv. de vijf persoonlijkheidsdimensies in de BIG5: vijf componenten als facetten van het hoofdconstruct persoonlijkheid)
Dat betekent dat er vrijwel nooit een puntenwolk te maken is waar je twee of meer loodrechtlijnen op elkaar kunt plaatsen die overal, vooral op de eerste dimensie, de beste fit geeft. In oblique rotatie wordt daarom de correlatie tussen componenten toegestaan door de assen niet noodzakelijkerwijs loodrecht te plaatsen: de hoek tussen assen wordt geschat. Dit kost dan per dimensie een vrijheidsgraad, maar levert in de regel voor psychologische constructen een betere fit op.
NB: Waarom is het regressievoorbeeld een beetje raar hier? Regressie en PCA/PAF hebben andere manieren om naar de 'residuals' (afwijkingen van de fitlijn/as) te kijken. Bij regressieanalyse wordt de kleinste kwadratenmethode gebruikt (least squares), dus: een vertikale lijn paralel aan de Y-as wordt getrokken naar de fitlijn. Het doel van een regressieanalyse is om een rotatie voor de regressielijn te vinden die de spreiding op de Y-as optimaliseert. Dus zoveel mogelijk variantie op de afhankelijke variabele probeert te dekken (verklaren) met de regressielijn. In een PCA wordt een loodrechte lijn getrokken op de fitlijn/as, zodat er zoveel mogelijk variantie gedekt/verklaart wordt door de dimensie (bijvoorbeeld de x-as).
