Euroopan musiikillinen aarreaitta aukeaa tutkijoille ja kulttuurin harrastajille tekoälyn avulla
REPERTORIUM-hankkeessa hyödynnetään tekoälyä ja syväoppimista musiikin tunnistamiseen ja hakuun eri nuottiarkistoista. Digitalisoituna nuotinnukset ja käsikirjoitukset voidaan liittää erilaisiin maailmanlaajuisiin tietokantoihin ja näin tuoda ammattilaisten ja harrastajien ulottuville.
Jotta musiikkiaarteisto saadaan julki ja jakoon, tekevät tutkijat ja yritykset kahdeksassa Euroopan maassa hartiavoimin työtä. Esimerkiksi Ranskassa Sainte Madeleinen luostarissa äänitetään yli kaksituhatta tuntia gregoriaanisia lauluja. Espanjalaisesta tietokannasta taas saadaan digitoitavaksi jopa kolmetuhatta käsin kirjoitettua ooppera-aariaa.
Tampereen yliopistossa professori Tuomas Virtasen johtama audiotutkimusryhmä kehittää tekoälyyn perustuvia reaaliaikaisia äänilähteiden erottelutyökaluja. Niiden avulla musiikkitallenteista, esimerkiksi sinfoniaorkesterin esityksestä, pystytään erottamaan yksittäisten soittimien äänet toisistaan reaaliajassa. Hankkeessa kehitetyt työkalut, mukaan lukien optisen musiikintunnistuksen ja äänikentän uudelleenrakennuksen työkalut, tulevat julkisesti saataville.
Klasari-karaokea ja 3D-konserttielämyksiä
Kun orkesterin jokainen yksittäinen instrumentti voidaan eristää kokonaisuudesta, avautuu valtavasti uusia teknologisten innovaatioiden mahdollisuuksia.
–Voimme toteuttaa suoratoistettavia virtuaalisia sinfoniakonsertteja ja todentuntuisia akustisia tiloja, jossa yleisö voi kokea immersiivisen 3D-musiikkielämyksen. Aitouden tunne syntyy siitä, että yksittäisen instrumentin ääntä muokataan sen mukaan, miten kuulija liikkuu virtuaalisessa äänimaisemassa, Tuomas Virtanen sanoo.
Teknologia mahdollistaa myös yksittäisten soittimien mykistämisen tai soolon luomisen reaaliajassa. Näin syntyvät kappaleiden niin sanotut karaokeversiot. Musiikinopiskelija voi hyödyntää tätä harjoittelussaan soittaen tai laulaen mykistetyn osuuden itse, toteaa hankkeessa työskentelevä tutkijatohtori David Diaz Guerra.
Ennen REPERTORIUM-hanketta Audiotutkimusryhmä on tehnyt jo vuosia pioneerityötä signaalinkäsittelyn menetelmien parissa äänilähteiden erottelemiseen toisistaan. Menetelmiä on sovellettu musiikin lisäksi esim. automaattiseen puheentunnistukseen, kuulolaitteiden äänenlaadun parantamiseen ja yksityisyyden suojan saavuttamiseen akustisessa valvonnassa.
Lisätietoja REPERTORIUM-hankkeen verkkosivuilla (englanniksi)
Tuomas Virtanen IEEE:n Signal Processing Societyn arvostettujen luennoitsijoiden ohjelmaan
Signaalinkäsittelyn professori Tuomas Virtanen on nimitetty teknisen asiantuntijajärjestö IEEE:n alaisen Signal Processing Societyn vuoden 2024 Distinguished Lecturer -ohjelmaan. Ohjelma tarjoaa taloudellista tukea signaalinkäsittelyalla tunnetuille ammattilaiskouluttajille ja -kirjoittajille ammattikunnan tapahtumissa luennoimiseen.
IEEE:llä on yli 400 000 jäsentä 160 maassa. Se on johtava viranomainen monilla eri aloilla, ilmailu- ja avaruusjärjestelmistä tietokoneisiin ja tietoliikenteeseen, biolääketieteelliseen tekniikkaan, sähkövoimaan ja kulutuselektroniikkaan. Vuonna 1948 ensimmäisenä IEEE:n alaisuudessa perustettu Signal Processing Society on maailman johtava yhteisö signaalinkäsittelyn tutkijoille ja ammattilaisille.
Lue lisää IEEE:stä (englanniksi)
Lue lisää Signal Processing Societysta (englanniksi)
Tuomas Virtanen
-
Erikoisalana äänisignaalinkäsittely, laskennallinen äänimaisema-analyysi ja ääneen liittyvä koneoppiminen.
-
Ollut pääpuhujana tapahtumissa, pitänyt puheita täysistunnoissa, tutoriaaleja kansainvälisissä konferensseissa sekä monia luentoja kansainvälisissä yliopistoissa ja yrityksissä.
-
Kehittänyt lukuisia äänitapahtuman tunnistamisen ja lähteen erottamisen menetelmiä, joita sovelletaan esimerkiksi kontekstitietoisissa laitteissa, akustisessa valvonnassa ja avustavissa teknologioissa.
-
Kehittänyt uusia keinoja esimerkiksi automaattisen puheentunnistuksen parantamiseksi melussa, sekä puheen ymmärrettävyyden parantamiseksi kuulolaitteissa.
Tutustu Tuomas Virtasen tutkijaprofiiliin (englanniksi)
Teksti: Marjut Kemiläinen
Kuvat: Mika Kanerva, Virpi Andersin
