”Laskentatapa vaikuttaa olennaisesti eri päätieteenalojen väliseen tuottavuusjärjestykseen. Kun julkaisuja ei ositeta, tuottavimpia ovat luonnontieteilijät sekä lääke- ja terveystieteen alan tutkijat ja vähiten tuottavimpia humanististen tieteenalojen tutkijat. Osittamalla julkaisut tekijöiden lukumäärällä, tilanne kääntyy päinvastaiseksi yhteiskunta- ja humanististen tieteenalojen tutkijoiden noustessa tuottavimmiksi.”
Alustus! Kuinka paljon tuottava tutkija julkaisee vuoden aikana? Onko kaksi tai kolme tieteellistä julkaisua vuodessa paljon vai vähän? Tutkijan julkaisuaktiivisuus -hankkeessa (OKM 2016) tuotetun tuoreimman julkaisuanalyysin perusteella suomalaisten yliopistojen opetus- ja tutkimushenkilöstön edustajat ovat vuosittain keskimäärin mukana kolmessa tieteellisessä vertaisarvioidussa julkaisussa, ja mikäli julkaisuja kirjoitetaan yksin, niitä kertyy tutkijalle keskimäärin yksi per vuosi. Joka kolmannella henkilöstön edustajalla ei ollut lainkaan vertaisarvioituja julkaisuja. Tieteenalojen väliset erot julkaisukäytännöissä ovat kuitenkin huomattavia. Tämä selviää Tieteessä tapahtuu -lehteen (5/2016) kirjoittamastamme artikkelista (Muhonen & Pölönen 2016), johon tämä alustus perustuu.
Alustuksemme tarkoituksena on lisätä ymmärrystä ihmistieteiden julkaisutuottavuuden mittaamisen haasteista, joista keskitymme tässä kahteen olennaisimpaan. Ensiksi, tuottavuuskeskusteluissa yksi tyypillisimmistä jännitteistä liittyy kysymykseen siitä, suosiiko julkaisujen laskeminen yhteisjulkaisemista ja aloja, joille se on tyypillistä. Tarkastelemme väitteen paikkansapitävyyttä vertailemalla tutkijakohtaisia osittamattomia ja ositettuja julkaisumääriä. Ihmistieteiden mittaamisen kannalta tämä on olennaista, koska yhteiskuntatieteilijät ja humanistit kirjoittavat usein julkaisuja yksin ja keskimäärin pienemmissä tutkimusryhmissä kuin muiden tieteenalojen edustajat. Toiseksi, julkaisutuottavuusanalyysien tulosten kannalta ratkaisevaa on, mitä tietokantaa analyysissä käytetään. On tärkeää pohtia, mitä ihmistieteille ominaista ja arvokasta julkaisemista rajautuu analyysin ulkopuolelle, mikäli tutkimuksessa käytetään yleisimpiä kansainvälisiä Web of Science ja Scopus julkaisutietokantoja.
Tutkijoiden tuottavuus riippuu laskentatavasta
Tarkasteltaessa osittamattomia julkaisuja eli laskemalla tutkijan omiksi tuotoksiksi yhdessä muiden tutkijoiden kanssa kirjoitetut julkaisut kokonaisina, aineistossa[1] mukana olevat tutkijat tuottivat vuosina 2012–2014 keskimäärin 3,1 vertaisarvioitua julkaisua. Jos taas tutkijan tuotokseksi lasketaan murto-osat, jotka saadaan jakamalla julkaisut kaikkien tekijöiden lukumäärällä, tuotettiin keskimäärin 0,8 julkaisua tutkijaa kohti.
Reilu kolmannes (34 %) aineiston tutkijoista ei osallistunut vertaisarvioitujen julkaisujen tuottamiseen vuosina 2012–2014. Analyysi tuottaakin hieman erilaisia lukuja, kun joukkoa rajataan ottamalla analyysiin mukaan vain vuosien 2012–2014 aikana vähintään yhden vertaisarvioidun julkaisun tuottamiseen osallistuneet tutkijat. Näin julkaisuaktiivisuutta tarkasteltaessa, tutkijat julkaisevat keskimäärin 4,7 osittamatonta julkaisua vuositasolla, ositettuja julkaisuja 1,2.
Laskentatapa vaikuttaa olennaisesti myös eri päätieteenalojen väliseen tuottavuusjärjestykseen. Kun julkaisuja ei ositeta, tuottavimpia ovat luonnontieteilijät (6,5 julkaisua/tutkija) sekä lääke- ja terveystieteen alan tutkijat (5,9 julkaisua/tutkija) ja vähiten tuottavimpia humanististen tieteenalojen tutkijat (2,8 julkaisua/tutkija). Osittamalla julkaisut tekijöiden lukumäärällä, tilanne kääntyy päinvastaiseksi yhteiskunta- ja humanististen tieteenalojen tutkijoiden noustessa tuottavimmiksi. (Vrt. Puuska & Miettinen 2008, 60–63.)
Laskentatavan valinta vaikuttaa eri tieteenaloja edustavien tutkijoiden tuottavuuteen myös päätieteenalojen sisällä. Ihmistieteistä esimerkiksi psykologian alan tutkija osallistuu tekijänä vuoden aikana keskimäärin kuuteen, valtio-opin/hallintotieteen tutkija puolestaan neljään julkaisuun. Mikäli panosten suhdetta tutkijan julkaisumäärään tarkennetaan osittamalla julkaisut kirjoittajamäärällä, alat vaihtavatkin tuottavuusjärjestyksessä paikkaa. Psykologeille kertyy näin laskettuna enää keskimäärin yksi julkaisu per tutkija, valtio-opin ja hallintotieteen tutkijoille kaksi.
Kansainväliset julkaisutietokannat eivät kata läheskään kaikkia julkaisuja
Bibliometrisiä julkaisu- ja viittausanalyysejä tehdään tyypillisesti hyödyntäen kansainvälisiä julkaisutietokantoja, kuten Web of Science ja Scopus -tietokantoja, joihin indeksoidaan vuosittain kaikki julkaisut ja viittaukset valikoidusta joukosta tieteellisiä lehtiä. Kansainväliset tietokannat pyrkivät kattamaan eri tieteenalojen tärkeimmät kansainväliset lehdet, ja niihin indeksoidaankin valtaosa erityisesti korkeimpiin tasoluokkiin 3 ja 2 sijoitetuista lehdistä ja sarjoista. Kuitenkin tietokantoihin indeksoiduista yhteiskuntatieteiden lehdistä noin 60–70 % sijoittuu perustasolle 1 ja humanististen tieteidenlehdistä 70–80 %. Toisin sanoen valtaosa viittaustietokantojen lehdistä edustaa hyvää tieteellistä perustasoa, mutta tietokantojen ulkopuolelle jää myös suuri joukko yhtä laadukkaita vertaisarvioituja tasoluokkaan 1 hyväksyttyjä ihmistieteiden lehtiä. Kaikista Julkaisufoorumissa luokitelluista lehdistä ja sarjoista WoS kattaa yhteiskuntatieteissä vain 39 % ja Scopus 65 %. Humanistisissa tieteissä WoS:n kattavuus on vain 32 % ja Scopuksen 49 %. Sen sijaan niin sanotuissa kovissa tieteissä tietokannat ovat huomattavasti kattavampia (WoS 74 % ja Scopus 89 %).
Kansainvälisten tietokantojen keskeisenä ongelmana on myös painottuminen englanninkielisiin lehtiin. Tästä seuraa, että tietokannat kattavat huonosti muun kuin englanninkielisten maiden ihmistieteiden tutkimusta. (Archambault 2006, Puuska 2014.) Ihmistieteiden tuottamista suomenkielisistä vertaisarvioiduista lehtiartikkeleista, joita vuosina 2011–2014 julkaistiin kaikkiaan 2610 (julkaisutyypit A1 ja A2), jää 96 % Scopuksen ja 99 % WoS-tietokannan ulkopuolelle. Myös muun kuin suomenkielisistä vertaisarvioiduista lehtiartikkeleista, joista valtaosa on englanninkielisiä ja suunnattu tieteenalan kansainväliselle asiantuntijayleisölle, jää yhteiskuntatieteissä WoS:n ulkopuolelle 49 % ja Scopuksen ulkopuolelle 33 %, ja humanististen tieteiden osalta vastaavasti 63 % ja 57 %.
Ihmistieteissä julkaistaan myös muita aloja tyypillisemmin kirjoja, kuten erillisteoksia ja kokoomateosartikkeleita. WoS ja Scopus ovat aloittaneet lehtien indeksoinnin rinnalla myös kirjajulkaisujen indeksoinnin. Vertailu Norjan kansalliseen julkaisuaineistoon on osoittanut, että WoS:n ulkopuolelle jää kuitenkin vertaisarvioiduista erillisteoksista ja kokoomateosartikkeleista yhteiskuntatieteissä peräti 78 % ja humanistisissa tieteissä 83 %, ja Scopuksen ulkopuolelle vastaavasti 93 % ja 95 % kirjajulkaisuista (van Leeuwen & Sivertsen 2014).
Kansainvälisten julkaisutietokantojen ulkopuolelle jää myös huomattava osa vertaisarvioiduista konferenssijulkaisuista, sekä ihmistieteille tyypillinen ammatillinen ja yleistajuinen kirjoittaminen kansallisilla kielillä.
Julkaisujen indeksointi kansainvälisiin tietokantoihin ei ole todiste laadusta
Analyysimme osoittaa eri alojen välisten tuottavuuserojen vaihtelevan laskentatavan mukaan. Työmäärältään tieteellisen julkaisun tuottaminen yksin on eri asia kuin olla mukana esimerkiksi kymmenen tutkijan yhteisjulkaisussa. Niin tutkimuksen arvioinneissa kuin laajemmin bibliometriikan alan asiantuntijoidenkaan keskuudessa ei ole kuitenkaan yhtä oikeaa vastausta siihen, kuvaavatko ositetut vai osittamattomat julkaisumäärät tutkijan julkaisutuottavuutta ”oikeammin”. Julkaisuanalyysien toteuttamisessa avainasemaan nousee kysymys siitä, millaisin indikaattorein ja reunaehdoin on mahdollista arvioida mielekkäästi eri tieteenalojen edustajia keskenään.
Erot tieteenalojen julkaisukäytännöissä juontavat juurensa eri tieteenalakulttuureille ominaisiin tekijöihin, kuten alalle tyypilliseen tutkimuskohteen luonteeseen, tutkimuskysymyksiin tai menetelmiin. Tieteenalojen julkaisukäytännöt muistuttavatkin toisiaan ympäri maailman. Niin psykologia kuin taloustieteet eroavat julkaisukäytännöiltään oikeustieteestä ja historiasta samaan tapaan esimerkiksi Suomessa, Norjassa ja Hollannissa. Samoin kansainväliset tietokannat kuvaavat yhtä puutteellisesti useimpien ihmistieteilijöiden julkaisutoimintaa niin Suomessa kuin Quebecin ranskankielisissä yliopistoissakin. Luonnontieteiden vaikutuksesta on kuitenkin myös ihmistieteellisen julkaisutoiminnan arviointiin hiipinyt oletus, että julkaisujen indeksointia kansainvälisiin tietokantoihin voidaan pitää laadun tai kansainvälisyyden osoittimena. Tämä on julkaisutuottavuuden mittaamisen ja laajemmin myös tutkimuksen arvioinnin valossa kestämätön ajatus (Sivertsen 2016).
…
[1] Hyödynnämme artikkelissamme opetus- ja kulttuuriministeriön toteuttaman Tutkijan julkaisuaktiivisuus –hankkeen vielä julkaisematonta aineistoa ja tuloksia. Hankkeen aineisto käsittää viidessä case-yliopistossa (Helsingin yliopisto, Oulun yliopisto, Svenska Handelshögskolan, Tampereen yliopisto, Turun yliopisto) vuosina 2011–2012 työskennelleet 14411 opetus- ja tutkimushenkilöstön edustajaa (uraportaat I-IV) ja heidän vertaisarvioidut julkaisunsa, joiden julkaisuvuosi on 2012–2014 (OKM-julkaisuaineisto, julkaisutyypit A1-4 ja C1). Lisäksi hyödynnämme opetus- ja kulttuuriministeriön keräämää OKM-julkaisuaineistoa, jonka tiedot ovat saatavissa myös Vipunen- ja Juuli-portaaleista sekä Julkaisufoorumin julkaisukanavatietokantaa.
Kiitämme opetus- ja kulttuuriministeriön Tutkijan julkaisuaktiivisuus -hankkeen asiantuntijaryhmää mahdollisuudesta hyödyntää Tutkijan julkaisuaktiivisuushankkeen aineistoa ja tuloksia.
Lähteet
Archambault, É., Vignola-Gagné, É., Côté, G., Larivière, V., & Gingras, Y. (2006). Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Scientometrics, 68(3), 329–342.
Van Leeuwen, T. & Sivertsen, G. (2014). Scholarly publication patterns in the social sciences and humanities and their relationship with research assessment. Teoksessa Science, Technology & Innovation Indicators.
Muhonen, R. & Pölönen, J. (2016). Paljonko on paljon? Bibliometrisen tutkimuksen lähtökohtia yhteiskunta- ja humanististen tieteiden julkaisukäytäntöihin. Tieteessä tapahtuu 5/2016, 11-19.
OKM (2016) Tutkijan julkaisuaktiivisuus -hanke. Opetus- ja kulttuuriministeriö. Julkaisematon käsikirjoitus.
Puuska H.-M. (2014). Scholarly Publishing Patterns in Finland – A comparison of disciplinary groups. Väitöskirja. Acta Universitatis Tamperensis.
Puuska, H.-M. & Miettinen, M. (2008). Julkaisukäytännöt eri tieteenaloilla. Opetusministeriön julkaisuja 2008:33.
Sivertsen, G. (2016). Patterns of internationalization and criteria for research assessment in the social sciences and humanities. Scientometrics, 107(2), 357–368.
