Tutkimus

Musiikiksi muuntaminen auttaa tulkitsemaan monimutkaista dataa

Julkaistu 20.11.2023

Tampereen yliopisto

Sydämen sykkeen sonifikaatio eli ääni-ilmiöiden toteuttaminen kuultavaan muotoon. Kuva: Jonathan Middleton.

Ihmisen ja teknologian vuorovaikutuksen tutkijat Tampereen ja Eastern Washingtonin yliopistoista havainnoivat, miten monimutkaista dataa voidaan ymmärtää paremmin muuntamalla se kuultavaan muotoon eli musiikiksi räätälöityjen algoritmien avulla. Digitaalisen datan muuntaminen ääniksi voi helpottaa merkittävästi tietojen tulkitsemista yhä monimutkaisemman tiedon maailmassa.

Viisivuotisen, Business Finlandin rahoittaman projektin toteuttivat yhteistyössä Tampereen yliopiston TAUCHI-tutkimuskeskuksen (Tampere Unit for Computer-Human Interaction) sekä yhdysvaltalaisen Eastern Washingtonin yliopiston tutkijat.

Tutkijat julkaisivat hiljattain artikkelin siitä, miten datan muuntaminen musiikillisiksi ääniksi voi auttaa tulkitsemaan dataa helpommin.

Artikkelin pääkirjoittaja, musiikin tohtori ja musiikinteorian ja säveltämisen professori Jonathan Middleton Eastern Washingtonin yliopistosta on vierailevana tutkijana Tampereen yliopistossa. Middletonin ja ryhmän muiden tutkijoiden ensisijainen aihe oli tutkia, miten räätälöidyt musiikiksi muunnetut ns. data-to-music -algoritmit voivat muokata monimutkaista dataa helpommin ymmärrettävään muotoon. Tutkimuksessa hyödynnettiin suomalaisista sääennusteista kerättyjä tietoja.

– Koska datan kerääminen ja tulkinta ovat tulleet osaksi arkipäiväämme nykyisessä digitaalisessa maailmassa, tutkijat etsivät uusia lähestymistapoja datan tulkitsemiseen, Middleton kertoo.

Tutkimus tarjoaa uusia mahdollisuuksia ymmärtää ja tulkita tietoa myös kuuloaistin kautta. Keskeistä on selvittää, mikä tapa auttaa ymmärtämään dataa parhaiten.

Jonathan Middleton

Hänen mukaansa tutkimustulokset vahvistivat sen, mitä hän kutsuu “neljänneksi”, musiikillisten ominaisuuksien kautta saavutettavaksi ulottuvuudeksi datan tulkitsemisessa.

– Musiikkihan on erittäin mukaansatempaava taidemuoto puhtaasti kuunteluviihteen kannalta ja sellaisenaan tärkeä lisä teatterissa, elokuvissa, videopeleissä, urheilussa ja baletissa. Koska musiikilliset äänet voivat olla erittäin koukuttavia, tämä tutkimus tarjoaa uusia mahdollisuuksia ymmärtää ja tulkita tietoa myös kuuloaistimme kautta, Middleton sanoo.

Kuvittele esimerkiksi yksinkertainen, yksiulotteinen kaavionäkymä sydämensykkeestäsi. Kuvittele sen jälkeen kolmiulotteinen näkymä syketiedoistasi numeroina, väreinä ja viivoina. Kuvittele sitten neljäs ulottuvuus, jossa pystyt kuulemaan kyseistä dataa. Keskeistä Middletonille on selvittää, mikä näkymä tai ulottuvuus edellä mainituissa vaihtoehdoissa auttaa ymmärtämään dataa parhaiten.

Middletonin mukaan tämä perusteellinen validointitutkimus luo pohjan tuon neljännen ulottuvuuden hyödyntämiselle data-analyysissä. Koska tutkimustulokset osoittavat, mitkä musiikilliset ominaisuudet edistävät eniten ihmisen ajattelun kytkeytymistä dataan, niistä voivat hyötyä erityisesti yritykset, joille datalla on suuri merkitys kuluttajien tarpeiden ennakoimiseksi.

Tieteellinen artikkeli Data-to-music sonification and user engagement on julkaistu 10.8.2023 Frontiers in Big Data -tiedelehdessä.

Katso ja kuuntele Jonathan Middletonin esitys Data to music -tutkimuksen tulosten pohjalta.