Tiedote

Datasta saa tolkkua, kun se muunnetaan tekstiksi

Julkaistu 27.11.2020

Tampereen yliopisto

Äänitallenne punarinnan laulusta ja ympäristön äänistä voidaan muuntaa tekoälyn avulla kielelliseen muotoon.

Tampereen yliopisto on saanut Emil Aaltosen Säätiön myöntämän rahoituksen monitieteiselle tutkimukselle, jossa kehitetään laskennallisia menetelmiä ääni- ja videotallenteiden sekä kuvien ja lääketieteellisen datan analysointiin. Ratkaisun avulla monimutkaista tietoa voidaan esittää saavutettavasti ja helposti ymmärrettävässä kielellisessä muodossa.

Tutkimushankkeelle "Kielen käyttö strukturoimattoman datan automaattiseen tulkintaan" myönnetty rahoitus on arvoltaan 333 333 euroa. Tutkimus toteutetaan vuosina 2021-2023 Tampereen yliopiston Informaatioteknologian ja viestinnän tiedekunnassa. Monitieteisessä tutkimushankkeessa yhdistyy signaalinkäsittelyn, koneoppimisen, terveysteknologian sekä käännös- ja kielitieteiden asiantuntemus.

Hankkeessa mallinnetaan strukturoimatonta dataa sekä luonnollista kieltä syvillä neuroverkoilla. Strukturoimattomasta datasta kuten kuvista, äänestä tai mittaussignaaleista lasketaan syvien neuroverkkojen avulla kielellisiä esitysmuotoja. Aiemmat menetelmät ovat perustuneet datan tilastolliseen analyysin tai yksinkertaiseen automaattiseen kategorisointiin.

– Kehitämme koneoppimismenetelmiä, jotka oppivat matkimaan ihmisen tapaa kuvailla dataa luonnollisen kielen avulla. Menetelmän avulla monimutkainen tieto kuten robotin tai tietokoneen tekemä laskennallinen tulkinta mittaussignaaleista voidaan esittää ihmisille helposti ymmärrettävässä muodossa. Tämä parantaa myös tekoälyn selitettävyyttä, selvittää tutkimuksen johtaja, signaalinkäsittelyn professori Tuomas Virtanen.

Uusia menetelmiä ihmisen ja koneen vuorovaikutukseen

Yksi osa tutkimusta ovat uudet oppimisparadigmat, joissa kieli sisältää kysymyksiä ja vastauksia dataan liittyen. Luonnollisen kielen käyttö strukturoimattoman datan mallintamisessa mahdollistaa uudenlaiset menetelmät esimerkiksi ihmisen ja koneen vuorovaikutukseen.

– Tekstikuvaukset mahdollistavat aineistojen automaattisen analyysin, kuten kuvailuihin perustuvan tiedonhaun. Laadukkaat tekstikuvaukset myös lisäävät saavutettavuutta eli erilaisten ihmisten mahdollisuuksia käyttää dataa, kertoo saksan kielen, kulttuurin ja kääntämisen tenure track -professori Maija Hirvonen.

– Kieleen perustuvat mallit voivat toimia työkaluina, kun integroidaan informaatiota eri lähteistä. Tuotamme myös uusia tutkimusaineistoja äänen kysymys–vastaus -pareista sekä videoiden kuvailusta, lisää Tuomas Virtanen.

Tutkimuksessa ovat mukana Tuomas Virtasen audiotutkimusryhmä, Maija Hirvosen multimodaalisen kääntämisen ja tulkkauksen tutkimusryhmä sekä tenure-track professori Frank Emmer-Streibin datatieteiden tutkimusryhmä. Yhteensä hankkeen työryhmässä työskentelee seitsemän tutkijaa.

Emil Aaltosen säätiö myöntää apurahoja tieteelliseen tutkimustyöhön kaikille tieteenaloille. Se jakaa vuosittain yli 6 miljoonaa euroa apurahoja. Tutkimusryhmille säätiö myöntää kolmivuotisia projektiapurahoja. Nyt saatu apuraha on myönnetty erillishaulla, jonka tarkoituksena on vahvistaa Tampereen yliopiston monitieteistä tutkimusta.