Bij CFA, Confirmatoire Factor Analyse, wordt inderdaad de fit van een model berekend. Dat model betreft de specificatie van een of meerdere latente variabelen. Bij EFA, Exploratieve Factor Analyse, wordt gezocht naar latente variabelen. In beide gevallen zoek je latente variabelen en neem je aan dat de waarden van je items/vragen/geobserveerde variabelen/indicatoren metingen worden bepaald door een (of meer) latende variabelen in combinatie met meetfout.
Bij Principale Componenten Analyse zoek je een aantal componenten die je covariantietabel zo goed mogelijk kunnen verklaren. In dat geval ben je niet bezig de onderliggende latente variabelen te identificeren, maar een lineaire 'herformulering' van je items te zoeken, zodanig, dat je met minder variabelen dan het aantal items toch het grootste deel van je covariantiematrix kunt verklaren. Dit doe je zo dat de eerste variabele zo wordt gekozen dat hij het grootste deel verklaart dat met 1 variabele verklaard kan worden; de tweede variabele wordt zo gekozen dat hij het grootste deel verklaart van wat over is. Deze resulterende variabelen kun je alleen als latente variabelen beschouwen als je aanneemt dat je geen meetfout in je items had zitten, wat in de psychologie natuurlijk niet realistisch is.
Als je CFA uitvoert, kun je toetsen of je factorstructuur hetzelfde is in verschillende populaties. Dit kan niet met exploratieve analyses, of dit nu PCA of EFA is.