Voiko Alankomaiden tekoälyskandaali toeslagenaffaire toistua Suomessa?
Amsterdamilaisen opiskelijaosakunnan ”herraspäivälliseltä” heinäkuun lopulla vuodettu video aiheutti Alankomaissa valtavan kohun. Päivällisillä puhujat nimittelivät naisia räikeän seksistisesti ja vihamielisesti, mitä jotkut pitivät jopa yllyttämisenä väkivaltaan. Myös suomalaismedia uutisoi laajasti kohusta kirvoittaen näin keskustelua suomalaisten opiskelijajärjestöjen seksistisistä ja rasistista käytännöistä. Outoa on se, että pari vuotta aiemmin Alankomaita järisyttänyt, jopa paljon laajempi skandaali ei ole Suomessa noussut lehtiotsikoihin, vaikka sen seurauksena muun muassa pääministeri Mark Rutten hallitus joutui eromaan.
Tekoälyskandaali tulppaanimaassa
Vuosina 2013–2019 Alankomaiden veroviranomaiset syyttivät virheellisesti arviolta 35 000 vanhempaa heidän lapsilleen maksetuista etuuksista, vaatien heitä maksamaan kokonaisuudessaan takaisin saamansa etuudet. Seitsemän vuoden ajan lukuisia ihmisiä leimattiin väärin perustein huijareiksi. Kymmenet tuhannet perheet – joista monet olivat pienituloisia tai etnisiin vähemmistöihin kuuluvia – ajautuivat köyhyyteen kohtuuttomien velkojen vuoksi verohallinnolle. Jotkut päätyivät jopa itsemurhaan kasaantuvien ongelmien edessä. Yli tuhat lasta otettiin huostaan talousvaikeuksiin joutuneista perheistä.
Perheiden kohtaamat ongelmat nousivat julkisuuteen, kun Hollannin uutismedia RTL Nieuwsin ja Trouwin johdolla raportoivat tapauksesta syyskuussa 2018. Monien vaiheiden jälkeen vuoden 2020 lopussa Alankomaiden edustajainhuoneen perustama tutkintavaliokunta julkaisi riippumattoman raporttinsa. Se oli otsikoitu sanoilla ”ennennäkemätön epäoikeudenmukaisuus”. Raportti osoitti kiistattomasti, kuinka koneoppimisalgoritmeilla ja automaattisella päätöksenteolla oli keskeinen rooli seitsemän vuotta kestäneessä prosessissa, joka nimettiin ”toeslagenaffaireksi”. Toeslagenaffaire voidaan kääntää suomeksi (lasten) hoitoetuuksia koskevaksi asiaksi.[1]
Koneoppimisalgoritmeilla ja automaattisella päätöksenteolla oli keskeinen rooli seitsemän vuotta kestäneessä prosessissa, joka nimettiin ”toeslagenaffaireksi”.
Toeslagenaffairen tapahtumat alkoivat noin vuosien 2011–2012 tienoilla, kun media paljasti lukuisia petostapauksia, jotka koskivat sosiaaliturvamaksuja henkilöille, jotka tosiasiallisesti asuivat muissa EU:n jäsenvaltioissa eivätkä siten olleet oikeutettuja tukiin (Hadwick & Lan 2021). Media paljastukset loivat pääministeri Mark Rutten johtamalle hallitukselle kannustimen uudistaa sosiaaliturvajärjestelmää ja tehostaa takaisinperintäprosessia silloin, kun etuuksien saajat tekevät virheitä tai petoksia. Alankomaiden hallitus pyrki lisäämään perintäprosessin tehokkuutta integroimalla järjestelmään koneoppimisalgoritmeja, joiden avulla voitaisiin tunnistaa virheitä ja petoksia automaattisesti.
Käytännössä verohallinnon alainen toeslagen-yksikkö integroi systeemiin automaattisesti toimivan algoritmin, kun se käsitteli vanhempien verohallinnolle toimittamia asiakirjoja. Mikäli algoritmi löysi pienimmänkin virheen näistä dokumenteista – esimerkiksi väärin täytetyn ruudun tai puuttuvan allekirjoituksen – etuudet lakkautettiin automaattisesti ja kaikki takautuvasti havaitut tuet perittiin verohallinnolle takaisin (Hadwick & Lan 2021). Tämä puolestaan merkitsi sitä, että pieninkin virhe asiakirjoissa johti kymmenien tuhansia euroja korvausvaatimuksiin vanhemmille, sillä laki esti hallintoa soveltamasta suhteellisuusperiaatetta. Suhteellisuusperiaatteella tarkoitetaan, viranomainen joutuu harkitsemaan hallinnon asiakkaan kannalta epäedullisia oikeudellisia seuraamuksia. Vuonna 2018 media paljasti vanhempien ahdingon ja osoitti, että verohallinnon vanhemmilta takaisin perimät etuudet olivat keskimäärin 27 500-30 000 euroa, jotka vanhempien piti maksaa kokonaisuudessaan ilman mahdollisuutta pilkkoa velkaa useisiin eriin. Tämän algoritmin käyttöönotto loi yhdenlaisen joukon toeslagenaffairen uhreja.
Toeslagen-yksikkö integroi järjestelmään myös toisen koneoppimistyökalun, riskienarviointialgoritmin. Se valitsi automaattisesti hoitotuen saajat veroviranomaisten lisätarkastuksiin. Tätä kutsutaan ennakoivaksi analytiikaksi. Ennakoivalla analytiikalla tarkoitetaan massadataa hyödyntäviä koneoppimisalgoritmeja, joita käytetään mallien luomiseen tai ennusteiden tekemiseen nykyisyyden tai tulevaisuuden hallinnan työkaluina (Parviainen & Rantala 2020).
Toeslagen-yksikkö valikoi riskitekijät aiempien tietojen perusteella eli tunnettujen positiivisten ja negatiivisten petostapausten analyysin perusteella. Yhdeksi riskitekijäksi muotoutui se, että Alankomaissa pysyvästi asuva ihminen on muuttanut maahan EU:n ulkopuolelta. Algoritmi tuotti automaattisesti ennusteen, että petosriski on heidän kohdallaan suurempi. Tällaisen petossignaalin johdosta voitiin mielivaltaisesti tutkia kaikki saman signaalin antaneiden perheiden tuet. Toisin sanoen algoritmin seurauksena päätöksenteossa alettiin syrjiä ulkomaalaista alkuperää olevia asukkaita. Oletetut ”objektiiviset” ja ”dataan perustuvat” päätökset osoittautuivat itse asiassa mielivaltaisiksi, puolueellisiksi ja syrjiviksi. Erityisen raskauttavaa oli se, että sellaisten etuuksien saajien, jotka algoritmi ennusti mahdollisiksi huijareiksi, tuki lakkautettiin ilman veroviranomaisten jälkiarviointia. Kansalaiset eivät voineet saada selville, miksi heidän tukensa oli lakkautettu ja näin puolustaa omia oikeuksiaan (Hadwick & Lan 2021). Tämän algoritmin käytön seuraukseni muotoutui toinen joukko toeslagenaffairen uhreja.
Erityisen raskauttavaa oli se, että sellaisten etuuksien saajien, jotka algoritmi ennusti mahdollisiksi huijareiksi, tuki lakkautettiin ilman veroviranomaisten jälkiarviointia. Kansalaiset eivät voineet saada selville, miksi heidän tukensa oli lakkautettu ja näin puolustaa omia oikeuksiaan.
Kun monien peittely-yritysten jälkeen Alankomaita järisyttäneen skandaalin koko mittakaava tuli ilmi vuonna 2020, pääministeri Mark Rutte ja hänen järjestyksessään kolmas hallituksensa joutui eroamaan. Sittemmin Rutte palasi valtaan voitettuaan parlamenttivaalit maaliskuussa 2021. Rutte on luvannut, että jokaiselle uhrille maksetaan kertakorvauksena 30 000 euroa, mutta monien mielestä korvaus ei likimainkaan kata perheiden läpikäymiä kärsimyksiä.
Ei tällaista voi sattua koivun ja tähden alla
Monien asiantuntijoiden mielestä Alankomaiden tekoälyskandaali on varoitus koko Euroopalle algoritmien käytön riskeistä (Amnesty International 2021; Hadwick & Lan 2021; Heikkilä 2022). Kun julkiset organisaatiot ympäri maailmaa Suomi mukaan lukien käyttävät algoritmeja ja tekoälyä automatisoidakseen järjestelmiään, Alankomaiden skandaali osoittaa, kuinka tuhoisia automatisoidut järjestelmät voivat olla ilman oikeanlaisia suojatoimia.
Kun julkiset organisaatiot ympäri maailmaa Suomi mukaan lukien käyttävät algoritmeja ja tekoälyä automatisoidakseen järjestelmiään, Alankomaiden skandaali osoittaa, kuinka tuhoisia automatisoidut järjestelmät voivat olla ilman oikeanlaisia suojatoimia.
Euroopan komissio on esittänyt riskiperustaista lähestymistapaa tekoälyn käytön säätelyyn ja arviointiin. Komission ehdotus tekoälylaiksi rajoittaa niin kutsuttujen suurten riskien tekoälyjärjestelmien käyttöä. Suuririskisiksi katsotaan tekoälyjärjestelmät, joita käytetään esimerkiksi julkisissa palveluissa, terveydenhuollossa, lainvalvonnassa, muuttoliikkeen hallinnassa, turvapaikka-asioissa, oikeudenkäytössä ja demokraattisissa prosesseissa. Kriitikot kuitenkin väittävät, että valmisteilla oleva laki ei olisi suojellut kansalaisia Alankomaissa tapahtuneilta väärinkäytöksiltä (Heikkilä 2022). Esimerkiksi Amnesty International on kehottanut hallituksia kieltämään kansalaisuutta ja etnistä alkuperää koskevan datan käytön riskipisteytyksen yhteydessä lainvalvontatarkoituksiin mahdollisten rikosten tai petosten etsimisessä.
Alankomaiden tapaan Suomen monet julkisen sektorin instituutiot sijoittavat yhä enemmän resursseja tekoälyä hyödyntävien ja kansalaisille tarkoitettujen palvelujen kehittämiseen sekä uusien työkalujen luomiseen viranomaisten käyttöön.
Toistaiseksi Suomessa ei ole noussut julkisuuteen vastaavanlaisia skandaaleja kuin Alankomaissa, vaikka hakemusten käsittelyä on automatisoitu monissa julkisen sektorin organisaatioissa. Esimerkiksi Kansaneläkelaitos on automatisoinut osan sen sosiaaliturvan päätöksenteosta. Tämän seurauksena oikeuskansleri edellytti Kelalta selvityspyyntöä asiasta (OKV/21/50/2019) vuonna 2019. Oikeuskanslerinvirasto epäili muun muassa, että Kelan tukipäätöksissä ei voida osoittaa asian käsittelystä, valmistelusta ja teosta vastuullista henkilöä – seikka johon laki Kelaa velvoittaa. Myös Verohallinnon automatisoiduista veropäätöksistä on noussut esiin ongelmatapauksia (Alavalkama 2018).
Suomessa on myös käynnissä tai toteutettu useita hankkeita, joissa on kehitetty ennakoivaa analytiikkaa eri viranomaisten tai asiantuntijoiden käyttöön. Esimerkiksi Etelä-Karjalan Sosiaali- ja terveyspiiri (Eksote) on yhteistyössä Fujitsun kanssa kehittänyt koneoppimista hyödyntävän järjestelmän, Nuoran, jonka tarkoituksena on tunnistaa nuorten aikuisten syrjäytymisen taustatekijöitä ja toisaalta tunnistaa tähän liittyviä riskejä. Myös Eläketurvakeskus testasi yhdessä Kelan, Turun yliopiston ja Siili Solutionsin kanssa mahdollisuuksia ennustaa työkyvyttömyyttä koneoppimisen avulla.
Suomessa on myös käynnissä tai toteutettu useita hankkeita, joissa on kehitetty ennakoivaa analytiikkaa eri viranomaisten tai asiantuntijoiden käyttöön.
Yksi ensimmäisistä ennakoivaa analytiikkaa kehittävistä hankkeista Suomessa oli Espoon kaupungin ja Tieto Oyj:n vuosina 2017–18 toteuttama kokeilu, jossa Tieto Oyj yhdisti laajasti Espoon kaupungin sosiaali- ja terveydenhuollon sekä varhaiskasvatuksen asiakkuusdataa vuosilta 2002–2016 ja analysoi sitä tekoälyn avulla. Tekoälykokeilusta uutisoitiin suomalaismediassa laajasti vuonna 2018. Espoon kaupungin ja Tieto Oyj:n yhteisessä tiedotteessa todettiin muun muassa: ”Tekoäly löysi noin 280 tekijää, jotka ennakoivat lastensuojelun asiakkuutta. Mikään tekijä ei yksin ole riski, mutta useamman tekijän yhtäaikainen esiintyminen voi olla.”
Valitettavasti Espoon kokeiluista tai muista vastaavista hankkeista ei ole saatavilla tutkimusraportteja tai niiden sisällöistä ei löydy muuta tietoa kuin organisaatioiden lähettämät mediatiedotteet ja postaukset organisaatioiden omilla sivuilla. Tehtyjen kokeilujen avoin raportointi olisi kuitenkin keskeisessä asemassa, kun arvioidaan vaikkapa automatisoidun päätöksenteon käyttöä ja riskejä kansalaisille. Kokeiluista saatujen tulosten salailu saattaa myös julkisten organisaatioiden ja niiden kehitystoiminnan läpinäkyvyyden outoon valoon yhteiskunnassa, jossa korostetaan (avoimeen) tietoon perustuvaa päätöksentekoa. Lisäksi on muistettava, että kokeiluihin käytettävien julkisten varojen käyttö pitäisi olla läpinäkyvää, vaikka useimmat tekoälykokeilut on toteutettu yhteistyössä yritysten kanssa.
Suomalaismedia korostaa tekoälyn kyvykkyyksiä
Tutkimme Espoon tekoälykokeilua Koneen säätiön rahoittamassa Demokratian digitaaliset piilo-ompeleet (DIGITO) -hankkeessa yhteistyössä kahden muuan tutkimushankkeen (Dataohjautuvaa yhteiskuntaa tekemässä ja Datalukutaito ja vastuullinen päätöksenteko) kanssa.[2] Analyysimme perustuu keräämäämme media- ja viestintäaineistoon, jonka avulla vastasimme seuraaviin kysymyksiin: miten ja millaisena tekoälyteknologiaa tehdään tutuksi Espoon tekoälykokeilusta kertovassa viestinnässä ja mediassa toimittajien aloitteesta?
Tuoreessa Yhteiskuntapolitiikka-lehdessä julkaistussa artikkelissa (Alastalo, Parviainen & Choroszewicz, 2022) analysoimme, miten julkisiin palveluihin rakennettavasta tekoälystä ja datapohjaisista teknologioista kerrotaan julkisuudessa ja mikä mahdollisesti jää pimentoon. Tutkimuksen keskeinen tulos on, että uutismedian käyttämät kerronnan keinot – toisto ja tekoälykokeilun osallistuvien institutionaalisten toimijoiden edustajien äänellä kertominen – vahvistavat asianosaisten eli kokeilun tekijöiden toimijuutta, intressejä ja näkyvyyttä mediassa samalla kun ne heikentävät kriittisten äänien (mm. kansalaisten) esilletulon mahdollisuuksia.
Tutkimuksen keskeinen tulos on, että uutismedian käyttämät kerronnan keinot – toisto ja tekoälykokeilun osallistuvien institutionaalisten toimijoiden edustajien äänellä kertominen – vahvistavat asianosaisten eli kokeilun tekijöiden toimijuutta, intressejä ja näkyvyyttä mediassa samalla kun ne heikentävät kriittisten äänien (mm. kansalaisten) esilletulon mahdollisuuksia.
Tuloksemme vahvistavat kansainvälisen tutkimuksen havaintoja siitä, että media korostaa tekoälyn kyvykkyyksiä ja sivuuttaa hankalat yksityisyyttä ja tietosuojaa koskevat kysymykset (esim. Brennen ym. 2018).
Havaitsimme samoin kuin Löblich ja Karppinen (2014), että suomalaismedian teknologiauutisointi poikkeaa kuitenkin jossain määrin muista maista. Suomalaista keskustelua uusista teknologioista leimaa konsensuaalisuus ja konfliktien välttely sekä keskustelun puute yksityisyydestä ja valvonnasta verrattuna Yhdysvaltoihin, Saksaan ja Ruotsiin. Merkillepantavaa on, että suomalaismedia uutisoi Rutten hallituksen erosta vuoden 2021 alussa, mutta jätti mainitsematta tekoälynpohjaisen automaattisen päätöksentekojärjestelmän, ennakoivan analytiikan ja verohallinnon räikeät väärinkäytökset skandaalin taustalla.[3] Suomalaismedia ei ole toistaiseksi tiettävästi lainkaan käsitellyt toeslagenaffairea ja sen taustalla vaikuttavia syitä.
Kun koneoppivia algoritmeja hyödyntävillä peruspalveluilla on yhä merkittävämpi rooli kansalaisten elämässä ja hyvinvoinnissa, on tärkeää tutkia, millä tavoin tekoälyn käyttö voi vaarantaa ihmisten yhdenvertaisuutta ja luoda välittömästi tai välillisesti syrjiviä toimintamekanismeja. Suomi ei ole erillinen saareke, jossa osataan tunnistaa monimutkaisten algoritmien käytöstä aiheutuvat vaarat kansalaisten oikeudenmukaiselle kohtelulle, varsinkaan jos aiheesta ei käydä mediassa avointa keskustelua.
Kun koneoppivia algoritmeja hyödyntävillä peruspalveluilla on yhä merkittävämpi rooli kansalaisten elämässä ja hyvinvoinnissa, on tärkeää tutkia, millä tavoin tekoälyn käyttö voi vaarantaa ihmisten yhdenvertaisuutta ja luoda välittömästi tai välillisesti syrjiviä toimintamekanismeja.
Tekoälyn eettisten normistojen luomista on ehdotettu yhdeksi ratkaisuksi monimutkaisten algoritmisten järjestelmien tuomiin ongelmiin yksityisellä ja julkisella sektorilla. Viime vuosina filosofeja on työllistänyt tekoälyn eettisten periaatteiden laadinta. Universaalin etiikan periaatteet ovat kuitenkin osoittautuneet riittämättömäksi ilman konkreettisia tapaustutkimuksia, joissa pureudutaan erilaisten ihmisryhmien kokemiin epäoikeudenmukaisuuksiin sekä heihin kohdistuviin hallintatoimenpiteisiin tekoälyn avulla. On olemassa hyvin vähän sellaisia osallistavia tutkimuksia, joissa esimerkiksi turvapaikanhakijat tunnistetaan episteemisinä toimijoina ja kysytään, miten digitalisaatio kohtelee heitä digitaalisten palvelujen käyttäjinä ja ennen kaikkea ennakoivan analytiikan interventioiden kohteina. Toisekseen tekoälyn etiikassa on harvoin käsitelty kysymyksiä, jotka liittyvät talouden ja politiikan ohjaaviin intresseihin tekoälyjärjestelmien taustalla.
Hadwick ja Lan (2021) muistuttavat, että koneoppimistyökalujen käyttöönotto osuu suunnilleen samaan aikaan vuosien 2008–2011 maailmanlaajuisen finanssikriisin kanssa, jolloin säästötoimenpiteet johtivat monien julkisten sektorien työntekijöiden vähenemiseen EU-maissa. Julkisen sektoriin kohdistuvat leikkaukset todennäköisesti vähentävät myös niiden viranomaisten määrää, jotka käsittelevät kansalaisten automaattisista päätöksistä tekemiä valituksia ja siten todennäköisesti vähentää automaattisen päätöksenteon tarkistamiseen varattuja resursseja. Hadwickin ja Lanin (2021) mukaan tämä ei luo edellytyksiä ihmiskeskeisen tekoälyn käyttöönotolle julkisella sektorilla. Pikemminkin monet valtiot ovat kehittämässä tekoälykeskeisiä päätöksentekojärjestelmiä, joiden uskotaan toimivan automaattisesti. Sääntelyä ja ihmistyötä vaativan tarkistuksen puute koneoppimisen riskien poistamiseksi sekä hallinnon työvoiman väheneminen on havaittavissa koko EU:n alueella. Tuskin kannattaa tuudittautua sellaiseen käsitykseen, että toeslagenaffaire johtui vain Alankomaiden huonosta hallinnosta, eikä se voi toistua muissa EU:n jäsenvaltioissa.
DIGITO-hanke tutkii algoritmista vallankäyttöä
Espoon tekoälykokeilu on vain yksi osatutkimus DIGITO-hankkeessa, joka jatkuu vuoteen 2025 asti.[4] Hankkeessa keskitytään hauraassa asemassa olevien kansalaisten erityisesti maahanmuuttajien ja mielenterveyskuntoutujien eriarvoisuuden kokemuksiin ja kielellisiin vaikeuksiin digitaalisten peruspalveluiden käytössä sekä sellaisten interventioiden osalta, joiden toiminnassa on hyödynnetty tekoälyä ja koneoppivia algoritmeja. Kysymme, millaista algoritmista vallankäyttöä automatisoituun päätöksentekoon ja digitaalisiin palveluihin liittyy haavoittuvassa asemassa olevien kansalaisten näkökulmasta. Nähdäksemme algoritmien politiikkaa koskevaa keskustelua ei voida käydä, ellei tekoälyn etiikkaa koskevassa keskustelussa päästä syvälliseen dialogiin niiden kanssa, joihin monet tekoälyn interventiot ensisijaisesti kohdistuvat.
On aika tehdä paremmin näkyväksi se, mitä seurauksia ihmisten arkipäivän elämään on sillä, että voimakas usko teknologian kykyyn ratkaista sosiaalisia ongelmia on ohjannut voimakkaasti valtiollista ja kunnallista päätöksentekoa ja investointeja viime vuosina Suomessa.
On muistettava, että toeslagenaffairen väärinkäytökset saivat jatkua kuusi vuotta ennen kuin ne nousivat yleiseen tietoisuuteen mediajulkisuuden kautta. Tästä syystä nojaudumme DIGITO-hankkeessa kanssatutkijuusmetodologiaan, jotta intervention kohteina olevien ihmisten ääni ja mahdolliset palvelujen käyttöön liittyvät ongelmat pääsevät aiempaa paremmin kuuluviin tutkimuksessa. Perinteisiin tutkimusasetelmiin verrattuna kanssatutkijuuden ja tiedon yhteistuotannon avulla erityisesti alisteisessa tai marginaalisessa asemassa olevia ryhmien tieto voidaan muun muassa kontekstualisoida paremmin.
DIGOTO:n kaltaista tukimusta ei voi tehdä ilman monitieteistä otetta. Hankkeessa yhdistetään kielitieteellinen ja yhteiskuntatieteellinen empiirinen tutkimus tekoälyn etiikkaan, filosofiseen epistemologiaan ja politiikan teoreettiseen tutkimukseen. Lisäksi tulokset aiotaan julkistaa livetiedetapahtumassa, jossa ammattitutkijoiden lisäksi lavalle nousevat kanssatutkijat. Tämä on yksi tapa laajentaa ja syventää keskustelua tekoälyn ja algoritmien politiikasta Suomessa. On aika tehdä paremmin näkyväksi se, mitä seurauksia ihmisten arkipäivän elämään on sillä, että voimakas usko teknologian kykyyn ratkaista sosiaalisia ongelmia on ohjannut voimakkaasti valtiollista ja kunnallista päätöksentekoa ja investointeja viime vuosina Suomessa.
Kiitokset Marja Alastalolle, Juho Rantalalle, Anne Koskelle ja Paula Alaselle tekstin kommentoinnista.
Lähteet
Alastalo, Marja, Parviainen, Jaana & Choroszewicz, Marta (2022) Tekoälyteknologian kotoistaminen julkisiin palveluihin: Tapaus Espoon tekoälykokeilu. Yhteiskuntapolitiikka 3/2022, s. 185–196.
Alavalkama, Satu 2018. Apulaisoikeusasiamies haluaa verottajalta selvityksen robottien käytöstä. Taloustaito 14.9.2018. Haettu 29.6.2022.
Amnesty International 2021. Xenophobic machines. Discrimination through unregulated use ofAlgorithms in the Dutch childcare benefits Scandal. Raport. Haettu 28.6.2022.
Brennen, Scott J, Philip N Howard & Rasmus Kleis Nielsen 2018. An Industry-led debate: How UK media cover artificial intelligence. Reuters Institute for the Study of Journalism, Factsheet December 2018. Oxford: University of Oxford.
Espoon kaupunki 2018. Espoon kokeilu todisti: Tekoäly tunnistaa tukea tarvitsevia. Haettu 29.6.2022.
Euroopan komissio 2019. Luotettavaa tekoälyä koskevat eettiset ohjeet. Haettu11.2.2020.
Euroopan komissio 2021. Euroopan Parlamentin ja neuvoston asetus tekoälyä koskevista yhdenmukaistetuista säännöistä (tekoälysäädös) ja tiettyjen unionin säädösten muuttamisesta. Haettu 2.9.2021
Fujitsu 2019. Tekoäly ennustaa nuorten syrjäytymisriskiä Etelä-Karjalassa. Net.fujitsu.fi. Haettu 29.6.2022.
Hadwick, David & Lan, Shimeng (2021) Lessons to be learned from the Dutch childcare allowance scandal: A comparative review of algorithmic governance by tax administrations in the Netherlands, France and Germany. World Tax Journal, 13(4): 1-53.
Heikkilä, Melissa. 2022. Dutch scandal serves as a warning for Europe over risks of using algorithms. Politico 26.3.2022. Haettu 27.6.2022.
Löblich, Maria & Karppinen, Kari 2014. Guiding principles for internet policy: A comparison of media coverage in four Western countries. The Information Society 30 (1), 45–59.
Parviainen, Jaana & Rantala, Juho 2020. Ennakoiva analytiikka ja tekoälyn etiikka: Miten ennakoivat teknologiat taipuvat hallintajärjestelmäksi? Futura 39(1): 61–70.
[1] Wikipediasta löytyy toeslagenaffairen poliittisesta skandaalista yksityiskohtainen englanninkielinen kuvaus hollanninkielisine lähteineen https://en.wikipedia.org/wiki/Dutch_childcare_benefits_scandal
[2] Dataohjautuvaa yhteiskuntaa tekemässä https://uefconnect.uef.fi/tutkimusryhma/dataohjautuvaa-yhteiskuntaa-tekemassa/
Datalukutaito ja vastuullinen päätöksenteko https://www.datalit.fi/
