TIIVISTELMÄ
= .9
Tilastollisen tietojenkäsittelyn merkitys on vahvassa kasvussa, sillä tietoaineistoa kerätään yhä enemmän lukuisilla eri aloilla. Automaattisilla oppivilla menetelmillä voidaan löytää merkityksellisiä käsitteitä ja esitysmuotoja, joita voidaan edelleen käyttää analysoinnissa ja päätöksenteossa.
Tärkeä tilastollisen koneoppimisen menetelmäperhe, graafiset mallit, on selkeästi tulkittavissa ja sillä on hyvä teoreettinen perusta. Graafinen malli koostuu verkosta, jonka solmut kuvaavat satunnaismuuttujia ja linkit määrittelevät niiden väliset riippuvuussuhteet. Bayesiläinen päättely ratkaisee tuntemattomien muuttujien jakauman aineiston ehdolla. Graafiset mallit ovat modulaarisia, eli monimutkaisia järjestelmiä voidaan rakentaa yhdistelemällä yksinkertaisia osia. 1980-luvun tiukkojen oletusten puitteissa graafisten mallien soveltaminen on suoraviivaista, mutta näiden oletusten väljentäminen on haastava ja aktiivinen tutkimuskohde.
Tässä väitöstyössä esitellään, tutkitaan ja parannellaan uusia graafisten mallien laajennuksia, jotka voidaan karkeasti jakaa kahteen luokkaan. Ensimmäiseen luokkaan kuuluvat neuroverkkojen inspiroimat epälineaariset mallit, joissa sovelletaan bayesiläistä variaatio-oppimista ylioppimisen ja laskennallisen vaativuuden välttämiseen. Työ esittelee kehyksen, jossa käyttäjän antaman mallin tehokkaat päivityssäännöt ratkaistaan automaattisesti. Vastaaviin järjestelmiin verrattuna se tarjoaa uusia toimintoja, kuten epälineaarisuuksia ja hajonnan mallinnusta. Bayesiläisiä variaatiomenetelmiä käytetään viallisen tietoaineiston rekonstruointiin ja dynaamisen systeemin säätöön. Uusi algoritmi hoitaa epälineaaristen tila-avaruusmallien päättelyn tehokkaasti ja luotettavasti.
Toinen laajennusten luokka käsittelee relaatiomalleja, joissa havainnoilla voi olla vaihteleva sisäinen rakenne ja viittauksia toisiinsa. Uusi menetelmä, looginen piilo-Markov -malli, esitellään loogisten atomien sarjojen analysointiin ja sitä sovelletaan proteiinien sekundäärirakenteen luokitteluun. Menetelmälle esitetään algoritmit päättelyyn, parametrien määritykseen ja rakenteen oppimiseen. Työssä esitellään myös ensimmäinen graafinen malli relaatioaineistojen epälineaaristen riippuvuussuhteiden analysointiin.
= .2
Preface
This work has been carried out at the Laboratory of Computer and Information Science in Helsinki University of Technology and at the Laboratory of Machine Learning and Natural Language Processing in University of Freiburg. Other sources of funding were the Graduate School in Computational Methods of Information Technology (ComMIT), the Finnish Centre of Excellence Programme (2000-2005) under the project New Information Processing Principles, the European Commission's IST-funded projects BLISS (IST-1999-14190), the European Commission's IST-funded Network of Excellence for Multimodal Interfaces PASCAL (IST-2002-506778), the European Commission's IST-funded evaluation project APRIL (IST-2001-33053), the Finnish Cultural foundation, and the Nokia Foundation.
I wish to thank my instructor Dr. Harri Valpola for inspiration and guidance, especially in encouraging me to reach high. I also wish to thank my supervisor Prof. Juha Karhunen for his dedication and support, especially for keeping my feet on the ground. This experience has allowed me grow as a person.
I wish to express my gratitude to the co-authors of the publications of the thesis, Dr. Kristian Kersting, Prof. Dr. Luc De Raedt, Matti Tornio, Dr. Antti Honkela, Markus Harva, Tomas Östman, and Prof. Dr. Stefan Kramer. I also wish to thank my other coworkers in the laboratories, including Prof. Erkki Oja, Dr. Jaakko Peltonen, Dr. Alexander Ilin, and Dr. Sampsa Laine for help and interesting discussions as well as my pre-examiners Prof. Jouko Lampinen and Prof. Petri Myllymäki for useful comments.
Last but not least, I thank Anna Hiironen for her support and help, as well as for encouraging me to work abroad.
Espoo, November 2006
Tapani Raiko