Perinteisessä lineaarisessa faktorianalyysissä käytössä olevan mallin mukaan havaintojen taustalla on tekijöitä, joilla on gaussiset jakaumat. Tekijöiden oletetaan näkyvän havainnoissa lineaarisina kombinaatioina. Lisäksi havainnoissa oletetaan olevan gaussista kohinaa. Lineaarisuus- ja gaussisuusoletukset eivät monessa tapauksessa ole hyviä kuvaamaan havaintoja, mutta helppoutensa takia faktorianalyysi on melko laajassa käytössä varsinkin monilla humanistisilla aloilla.
Lineaarinen riippumattomien komponenttien analyysi (independent component analysis, ICA) eroaa faktorianalyysistä siinä, että tekijöiden ei oleteta olevan gaussisesti jakautuneita. Informaatiotekniikan laboratorion ICA-tutkimusryhmässä on kehitetty tehokkaita menetelmiä, joita voidaan suoraan käyttää korvaamaan lineaarinen faktorianalyysi.
Toinen tärkeä laajennus on lineaarisuusoletuksen poistaminen. Epälineaarisessa faktorianalyysissä käytetyn mallin mukaan siis tekijät näkyvät havainnoissa epälineaarisesti.