Jeffreysin priori

Diskreettien hypoteesien tapauksessa epäinformatiivinen priori on usein helppo määrittää. Jos hypoteesit ovat samanarvoisia eikä ole mitään syytä suosiä yhtä ylitse muiden, kaikille hypoteeseille annetaan yhtä suuri prioritodennäköisyys.

Jatkuva-arvoisen hypoteesiavaruuden voi pilkkoa pieniin osiin ja antaa kullekin palaselle yhtä suuren todennäköisyyden. Ei kuitenkaan ole lainkaan itsestään selvää millaisiin palasiin avaruus pitäisi pilkkoa. Parametriavaruuden epälineaariset muunnokset muuttavat hypoteesiavaruuden palasten suhteellista kokoa, vaikka hypoteesit eivät muutukaan.

Jeffreysin priori pilkkoo avaruuden osiin sen mukaan kuinka erilaisia hypoteesit ovat. Erilaisuutta mitataan sillä, kuinka erilaisia ennusteita hypoteesit antavat datalle. Fisherin informaatiomatriisi antaa mitan sille kuinka nopeasti hypoteesien ennusteet muuttuvat siirryttäessä eri suuntiin parametriavaruudessa eli kuinka tiheässä hypoteeseja on. Mitta on neliöllinen, eli kutistettaessa avaruutta jonkin dimension suunnassa puolella mitta nelinkertaistuu. Jeffreysin priorissa tiheys valitaan verrannolliseksi Fisherin informaatiomatriisin determinantin neliöjuureen.

p(w | M) = c |I(w)|^1/2,

missä I(w) on Fisherin informaatiomatriisi mitattuna parametriavaruuden kohdassa w ja c on normalisointivakio, joka asetetaan sellaiseksi, että p(w | M) normalisoituu ykköseksi.

Jos jostain syystä on aihetta uskoa joidenkin parametrien arvojen olevan todennäköisiä, Jeffreysin prioria voi muuttaa hieman. Jos r(w | M) kuvaa suhteellista uskomusta parametriavaruuden eri osissa, prioriksi valitaan

p(w | M) = c |I(w)|^1/2 r(w | M).

Monissa tapauksissa joudutaan tilanteeseen, jossa normalisointivakioksi tulisi nolla, koska integraali informaatiomatriisin yli on ääretön. Tällaisissa tapauksissa on yleensä pakko käyttää sellaista funktiota r(w | M), että normalisointivakiosta tulee äärellinen.

Esimerkki: Bernoulli-prosessi

Kesken.

P(A_i | ß) = ß. Hypoteesit ovat tiheämmässä 0:n ja 1:n ympärillä. Jeffreysin priori p(ß) = [ß(1-ß)]^-1/2 / pi. Toisella parametrisoinnilla priori olisi vakio: p(x) = 1, jos ß = [1+sin(pi x)]/2 ja -½ <= x <= ½.

Prediktiivisestä jakaumasta tulee P(A_N+1 | N_A N_B) = (N_A + 1/2) / (N_A + N_B + 1).

Päivitetty 9.10.1998.
Harri Lappalainen