Tekoäly seuloo sotakuvia EU-direktiiviä varten
– Tutkimuksella on paljon annettavaa saavutettavuudelle yhtäältä ja toisaalta tekoäly- ja kuvatutkimukselle, sanoo visuaalisen journalismin yliopistonlehtori Anssi Männistö.
Männistö on mukana tutkimushankkeissa, jotka liittyvät tekoälyyn ja rintamakuvien analysointiin. Lähtökohta on perustutkimuksessa, jonka tulokset voivat auttaa miljoonia kuvia sisältävien digitaalisten arkistojen työtä. Tulosten hyödyntäjiä ovat muistiorganisaatiot kuten arkistot, kirjastot, museot ja tutkimuslaitokset sekä yksityisten yritysten omistamat sanomalehdet, mediayhtiöt ja kuvapankit.
Ratkaisu museoiden direktiiviongelmaan
Monitieteinen tutkimusryhmä sai rahoituksen Suomen Akatemian rahoittamalta Intelligent Society -ohjelmalta tutkimushankkeelle ”Improving Public Accessibility of Large Image Archives” (IPALIA), joka tutkii tekoälyn avulla laajojen kuva-arkistojen saavutettavuutta. Tampereen yliopistossa tutkimukseen osallistuu kolme tutkimusaluetta: koneoppiminen, tiedonhaku ja visuaalisen kulttuurin tutkimus.
Projektin tavoitteena on parantaa suurten kuvatietokantojen ja kokoelmien julkista saatavuutta tavalla, joka täyttää syyskuussa voimaan tulleen EU:n saavutettavuusdirektiivin ehdot.
Direktiivi vaatii, että kaikkiin verkossa oleviin julkisiin kuviin pitää lisätä tekstimuotoinen sisältökuvaus. Vaatimus on pullonkaula kuva-arkistoille ja museoille, koska työhön ei ole tarjolla halpoja ja tehokkaita menetelmiä. Ongelma on erityisen suuri suomenkielisen ja suomalaisen kuvasisällön kannalta.
Aineistona on Puolustusvoimien Suomen sodanajan valokuva-arkisto, joka koostuu Tiedotuskomppanioiden (TK) lähes 160 000 valokuvasta talvisodasta, jatkosodasta ja Lapin sodasta vuosilta 1939–1945.
Anssi Männistö sanoo, että nyt käynnistyvän tutkimushankkeen tavoitteena on saada aikaan malli, joka tarjoaa direktiivin mukaisen sisältökuvauksen TK-kuville. Sama malli auttaisi muitakin museoita ja kuva-arkistoja täyttämään direktiivin ehdot.
– Tarkoitus on tarjota apua isoon haasteeseen. Monelle museolle on aika iso ongelma, että pitäisi olla ne kuvailutekstit, Männistö sanoo.
Männistö pitää tilannetta tekoälytutkimuksen kannalta optimaalisena, sillä kysyntä käyttökelpoiselle saavutettavuusratkaisulle on suuri.
Rintamakuvien teksteissä ideologisia painotuksia
Sotakuvien kuvatekstit on usein kirjoitettu painottamalla seikkoja, jotka eivät täytä saavutettavuuden ehtoja. Rintamakuvat voivat vieläpä sisältää sotatilanteeseen liittyvää ideologista tai propagandistista kuvausta
Tekoäly ja algoritmit eivät nekään ole neutraaleja, mutta perusmuodossaan ne purkavat esiin isosta kuvamassasta määrälliset tiedot esimerkiksi yksittäisten kuvien henkilöistä, eläimistä, esineistä, rakennuksista ja niiden lukumääristä.
Tekoäly ei suoraan kerro, että vääpeli ja kapteeni ovat tykistökeskityksessä tai vapaa-ajalla tietyssä paikassa. Sen sijaan se voi kertoa vaikkapa sen, mitä hahmoja päähenkilöiden edessä tai takana on. Anssi Männistöä kiehtoo erityisesti se, että tekoäly kykenee tekemään myös tilaa koskevaa ns. spatiaalista analyysia.
Tekoäly tuottaa peruskuvailevaa tekstiä mutta vielä on osin epäselvää, miten paljon se onnistuu sanomaan kuvassa esiintyvien ihmisten sukupuolista ja ikäryhmistä ja miten hyvin se pystyy selvittämään vaikkapa säätilaa tai vuodenaikaa.
– Tässä on aika iso perustutkimuksellinen komponentti. Ihan varmuudella ei pysty sanomaan, kuinka syvälle päästään, mutta kyllä meillä tuntuma on siitä, että pääsemme kiinnostaviin tuloksiin, Männistö sanoo.
Tutkimushanke on sopinut Tampereen Museokeskus Vapriikin kanssa, että hankkeessa syntyvää mallia testataan loppuvaiheessa myös Vapriikin aineistoihin.
– Saattaa olla, että sotakuvien aineistossa on tiettyjä erityispainotuksia, jotka on hyvä katsoa, poislukea ja tutkia, kuinka yleistettävä se metodi on. Olemme mielissämme siitä, että tällainen mahdollisuus on olemassa.
Männistö kehuu tutkimushanketta hyväksi esimerkiksi siitä, että uusi Tampereen yliopisto voi parhaimmillaan tuoda tutkimuksen kentälle aitoa, uutta luovaa monitieteistä tutkimusta ja ongelmanratkaisua.
Tutkimushankkeen suunnittelussa ja toteutuksessa ovat mukana Männistön lisäksi koneoppimisen ja tekoälyn post-doc-tutkija Jenni Raitoharju sekä tiedonhaun apulaisprofessori Sanna Kumpulainen.
Rintamakuvat julki mutta sisältö tutkimatta
Toisen maailmansodan TK-kuvat on julkaistu kaikkien käytettäväksi, mutta esimerkiksi kirjoissa niistä on nähty vain pieni osa. Anssi Männistö sanoo, että valtavan aineiston kokonaisuudesta ei kellään ole vieläkään tarkkaa käsitystä.
– Kuvat oli julkaistu, mutta niiden määrään, sisältöihin ja ajalliseen vaihteluun perehtymisessä tuli seinä vastaan, Männistö kertoo omista tutkimuskokemuksistaan.
Ajatus koneoppimisen käytöstä rintamakuvien analyysiin heräsi, kun Männistö kävi niitä läpi tehdessään Ville Kivimäen kanssa Sodan särkemä arki -kirjaa.
Männistö teki kansainvälisen tutkimusryhmän kanssa rintamakuvista tekoälypohjaisen analyysin, jonka tulokset on nyt julkaistu artikkelissa ”Machine Learning Based Analysis of Finnish World War II Photographers”. Tutkimus on ensimmäinen alallaan tiettävästi koko maailmassa.
Uutena ulottuvuutena valokuvatutkimukselle tuossa artikkelissa on Männistön mukaan se, että siinä erotellaan peruskuvakoot kuten yleiskuva, puolikuva ja lähikuva. Tekoäly erotteli myös sen, missä kuvan osassa henkilöt sijaitsevat. Näitä toimintoja voidaan soveltaa museoissa ja mediataloissa.
Perinteisin menetelmin tutkija voi selata ja havainnoida kuvien määrällisiä ominaisuuksia hyvin hitaasti. Tutkittavien kuvien määrät ovat siksi pieniä, vain muutamia satoja tai tuhansia kuvia.
Tutkimusryhmä sai tekoälyn käymään läpi noin 59 000 rintamakuvaa lyhyessä ajassa. Tuloksena oli kiinnostavia jakaumia, joiden laatiminen olisi ihmisvoimin vienyt kuukausia tai vuosia.
Sotakuvien analyysista malli koronakuvien tutkimiseen
Rintamakuvien analyysista on apua, kun Anssi Männistö alkaa tutkia HS- säätiön rahoituksella Helsingin Sanomissa julkaistuja korona-ajan kuvia KORTE-hankkeessa. Tutkimuksessa toteutettu tapa tunnistaa kuvan henkilöiden keskinäinen etäisyys sekä syvyys- että leveyssuunnassa on Männistön mukaan avain sille, että pystytään analysoimaan ihmisten välisten etäisyyksien muuttumista HS:n kuvastoissa korona-aikana.
Tutkimushankkeessa puretaan osiin noin 80 000–100 000 kuvan hahmorakenne koneoppimisen avulla ja selvitetään vielä tarkemmin kuvasisältöjen keskinäisiä suhteita. Tutkimushankkeen toisessa vaiheessa, kvalitatiivisessa analyysissä, käytetään perinteisempiä mediatutkimuksen menetelmiä. Kysymys ei ole vaihtoehtoisista vaan toisiaan täydentävistä menetelmistä.
Männistö sanoo, että siirtyminen rintamakuvista Helsingin Sanomien kuviin on huikea hyppäys toiseen aikakauteen. Sotakuvista puuttuu lähtökohtaisesti kaikki metadata kuten tiedot ajasta, paikasta ja kamera-asetuksista, jotka nykykameroissa tallentuvat automaattisesti mukaan kuvatiedostoon.
HS-kuvien analyysiin otetaan 6–7 kuukauden ajanjakso tältä vuodelta ja samat kuukaudet edelliseltä vuodelta. Mukaan on tulossa noin 80 000–100 000 kuvaa.
Tekoäly kaivaa HS-kuvista esiin tiedot siitä, millaisessa tilassa kuvat on otettu, sisällä vai ulkona, ja ovatko ihmiset lähellä vai kaukana toisiaan. Perusjakaumista saadaan lähtöasetelma laadulliselle analyysille.
Tutkijoilta vapautuu aikaa plaraamiselta
Tekoälyn ja koneoppimisen uudet mahdollisuudet saattavat mullistaa tutkijoiden työtä raakadatan seulonnassa.
Anssi Männistö muistelee, miten hän 1990-luvulla kävi väitöskirjaansa varten läpi Time-lehdet ja Suomen Kuvalehdet puolen vuoden ajalta kuudelta eri tutkimusjaksolta ja etsi niistä islam-aiheisia kuvia.
– Siihen meni kuukausitolkulla aikaa, kun niitä selasi. Kopioita otettiin eikä ollut digikameroita.
Männistö kävi läpi satoja kuvia ja selasi tuhansia sivuja. Nyt hän arvioi, että tekoälyn ansiosta voisi molempien lukujen perään lisätä nollan ja pudottaa ajasta pari nollaa pois. Se aika jäisi laadulliseen tutkimusosuuteen.
– Pidän tätä aika kutkuttavana, kun saadaan uusia menetelmiä kehitettyä ja saadaan pohdittua, miten nämä voisivat pelata yhteen journalismin, viestinnän ja historian tutkimuksessa.
Valtavan kokoisia aineistoja voidaan tulevaisuudessa käsitellä tekoälyn avulla, ja tutkijoiden aika vapautuu sivujen plaraamisesta varsinaiseen tutkimusanalyysiin.
– En osaa sanoa koska olemme kypsässä vaiheessa, mutta otamme nyt päättäväisiä askeleita siihen suuntaan. Varmaan tulee takapakkiakin, mutta olen tästä innostunut, Männistö kertoo.
Teksti: Heikki Laurinolli
