Bibliometriikka julkaisutoiminnan arvioinnissa

”Yksinkertaistettujen indikaattoreiden sijaan kaikilla tutkimuksen arvioinnin tasoilla suuntauksen tulisi olla kohti monipuolisempia mittareita.”

Alustus! Tieteelliset julkaisut ovat vakiinnuttaneet asemansa tärkeimpänä viestinnän muotona lähes kaikilla tieteenaloilla. Julkaisemalla tieteellisen tutkimuksen tulokset tulevat julkisiksi ja tutkijat voivat arvioida kollegoidensa tutkimuksen laatua ja relevanssia sekä hyödyntää toistensa tuloksia.

Julkaisemalla tutkijat osallistuvat oman alansa kehittämiseen ja toisaalta saavat omistusoikeuden omiin tuloksiinsa. Julkaisuilla on myös tärkeä rooli tutkijoiden uralla etenemisessä ja meritoitumisessa. Korkeatasoisesta julkaisutoiminnasta on hyötyä muun muassa tutkimusrahoituksen, akateemisten virkojen ja tutkimusyhteistyökumppaneiden saamisessa.

Viimeisten parin vuosikymmenen aikana tieteellinen julkaisutoiminta ja sen mittaaminen on kiinnostanut yhä enenevässä määrin myös tiedepolitiikan päätöksentekijöitä ja yliopistojen hallintoa. Julkisen sektorin ohjauksessa on laajalti alettu soveltaa uutta julkishallinnon ideologiaa (new public management), joka korostaa tuloksellisuutta ja tehokkuutta. Ideologia on omaksuttu myös yliopistojen ohjauksessa. Yliopistoja, tutkimusryhmiä ja tutkijoita arvioidaan yhä enemmän.

Tutkimustoiminnan tärkeimpänä tuotoksena julkaisut ovat usein arvioinnin kohteena. Julkaisuihin perustuvia mittareita sovelletaan tutkimuksen arvioinnissa kaikilla tasoilla: esimerkiksi kansainvälisessä vertailussa, yliopisto-rankingeissa sekä yliopistojen välisen että niiden sisäisen rahoituksen kriteerinä, virantäytöissä ja tutkimusrahoituspäätöksissä. Lisääntynyt arviointi on lisännyt tarvetta kehittää uusia julkaisutoimintaa kuvaavia indikaattoreita.

Bibliometriikan tutkimusalan uudet haasteet

Bibliometriikka on tutkimusalue, joka tutkii tieteellistä julkaisutoimintaa kvantitatiivisin menetelmin. Aikaisemmin bibliometrinen tutkimus suuntautui enemmän tieteen rakenteen tutkimiseen, kuten esimerkiksi nousevien alojen tunnistamiseen, yhteistyöverkostojen kuvaamiseen tai yksilötason julkaisutuottavuuden tekijöiden tarkastelemiseen. Bibliometrisia menetelmiä hyödynsivät enimmäkseen alalle ​​erikoistuneet asiantuntijat. Viimeaikainen kehitys on kuitenkin luonut haasteita bibliometriikan tutkimusalalle, ja nykyisin yhä suurempi osa bibliometrisesta tutkimuksesta liittyy arviointiin soveltuvien indikaattoreiden kehittämiseen.

Julkaisutoiminnan arviointia ja seurantaa varten on myös kehitetty lukuisia helppokäyttöisiä bibliometrisia työkaluja ja ohjelmistoja. Kaupalliset viitetietokannat tarjoavat pääsyn laajoihin bibliometrisiin aineistoihin. Nykyään bibliometristen menetelmien hyödyntäjät ovatkin moninainen joukko päätöksentekijöitä, tutkimuksen rahoittajia, yliopistojen hallintoa ja johtoa, kirjastoväkeä, IT-asiantuntijoita ja tutkijoita. Bibliometristen menetelmien käyttö ja analyysien tulkinta kuitenkin edellyttävät sekä metodologian että substanssin hyvää tuntemusta.

Tieteenalojen erilaiset julkaisukäytännöt

Julkaisutoiminnan tuloksellisuutta mitattaessa herää ainakin kaksi perustavanlaatuista kysymystä. Mikä on tieteellinen julkaisu ja miten tunnistetaan laadukas julkaisu? Näihin kysymyksiin on mahdotonta vastata yleispätevästi, sillä näkemykset vaihtelevat eri tieteenalojen välillä.

Väitöskirjassani tarkastelen julkaisutoimintaa erityisesti tieteenalakulttuurien näkökulmasta. Kuten useat aiemmat tutkimukset (esim. Kyvik 1991, Bourke & Butler 1996, Hicks 2004, Ossenblok ym. 2012, Piro ym. 2013), väitöskirjani tulokset osoittavat, että julkaisukäytännöt eroavat merkittävästi tieteenalojen välillä ainakin neljällä eri ulottuvuudella:

1. Erilaiset tieteellisen julkaisemisen muodot (lehtiartikkelit, kirjat ja konferenssijulkaisut).

2. Yhteisjulkaiseminen.

3. Kansainvälisillä ja kotimaisilla julkaisukanavilla julkaiseminen.

4. Tiedeyhteisön ulkopuolisille yleisöille julkaiseminen.

Useimmilla luonnon- ja lääketieteen aloilla tieteellinen julkaisu tarkoittaa melko yksiselitteisesti artikkelia vertaisarvioidussa tieteellisessä lehdessä. Näissä julkaisuissa on tyypillisesti laaja joukko kirjoittajia. Yhteiskuntatieteissä ja erityisesti humanistisissa tieteissä ​​julkaisut kirjoitetaan yleensä yksin tai joskus kaksin. Uusia tutkimustuloksia julkaistaan ​​lehtien lisäksi usein monografioissa ja kokoomateoksissa.

Lääketieteissä puolestaan kirjat ovat harvinaisia ​​ja niiden rooli on erilainen. Ne toimivat usein käsikirjoina tai katsauksina aikaisempaan tutkimukseen. Tietojenkäsittelytieteissä ja monilla tekniikan aloilla on omanlaisensa julkaisukulttuuri. Konferenssijulkaisut ovat tyypillisin julkaisumuoto. Niitä pidetään merkittävinä tieteellisinä tuotoksina ja niissä raportoidaan usein uusia tutkimustuloksia. Muilla tieteenaloilla konferenssit puolestaan ovat enemmänkin kanava vasta alustavien tulosten esittelyyn.

Useimmilla luonnon- ja lääketieteen aloilla tutkimuskohteet ovat universaaleja. Esimerkiksi fysiikan lait tai solujen fysiologiset ominaisuudet pätevät kaikkialla maailmassa, ja samaa tutkimuskohdetta voidaan tutkia missä tahansa riippumatta esimerkiksi kulttuurisista tai maantieteellisistä eroista. Näillä aloilla kansainväliset lehdet ovat pääasiallinen julkaisukanava (ks. Kuva 1). Humanistisissa tieteissä ja yhteiskuntatieteissä​ puolestaan tutkimusaiheet ovat usein luonteeltaan paikallisia. Suomen historiaa, Suomen lakia tai suomalaista sosiaalihuoltojärjestelmää koskeva tutkimus kerää monesti enemmän kiinnostusta Suomessa kuin ulkomailla.

Monet yhteiskunta- ja humanististen tieteiden tutkimuskohteet ovat kiinnostavia myös suuren yleisön näkökulmasta. Tulokset esitetään yleensä esseistisessä ja kirjallisessa muodossa, joten ne ovat helpommin myös maallikon ymmärrettävissä. Siksi julkaiseminen myös ei-tieteellisillä julkaisufoorumeilla, kuten ammattilehdissä, sanomalehdissä ja yleistajuisissa kirjoissa on tyypillistä yhteiskunta- ja humanistisissa tieteissä. Luonnon- ja lääketieteen aloilla julkaisut suunnataan pääasiassa omalle tiedeyhteisölle. Julkaisujen kieli on usein kodifioidumpaa ja niillä on oma symbolijärjestelmänsä, joka on vaikeammin ymmärrettävää muille kuin tutkimusalan asiantuntijoille.

Jos julkaisukäytäntöjen moninaisuuden vuoksi on vaikeaa antaa yleispätevää määritelmää tieteelliselle julkaisulle, vielä haastavampaa on kaikenkattavasti määritellä laadukas julkaisu. Julkaisun laadun ominaisuuksia voivat olla esimerkiksi sen vaikuttavuus ja yhteiskunnallinen relevanssi. Bibliometriikassa tieteellistä vaikuttavuutta mitataan usein julkaisun saamien viittausten määrällä.

Myös vaihtoehtoisia julkaisun laatua kuvaavia indikaattoreita on kehitetty esimerkiksi luokittelemalla lehtiä ja kustantajia niiden laadun perusteella. Viittausindikaattoreihin liittyy useita tunnettuja ongelmia, kuten negatiiviset viittaukset tai että ne suosivat valtavirtatutkimusta. Siitä huolimatta osa luonnon- ja lääketieteen tutkijoista kannattaa viittausindikaattoreiden käyttöä tutkimuksen arvioinnissa. Näillä aloilla on korkea yksimielisyys siitä, mikä on hyvää tutkimusta. Yhteiskunta- ja humanistisissa tieteissä ​​näkemykset tutkimuksen laadun kriteereistä vaihtelevat enemmän.

Korkea tutkimuksen laatu voi tarkoittaa myös yhteiskunnallista vaikuttavuutta, jonka mittaamiseen on hankalaa kehittää yhteismitallisia mittareita. Tiettyjä yhteiskunnallisen vaikuttavuuden elementtejä voidaan kuitenkin jossain määrin mitata kvantitatiivisesti. Tällaisia indikaattoreita ovat esimerkiksi päätöksentekijöille, oman alan ammattilaisille tai suurelle yleisölle suunnattujen julkaisujen määrä tai tutkimuksesta syntyneiden patenttien ja spin-off-yritysten määrä. Tutkimuksen todellisia vaikutuksia yhteiskuntaan on kuitenkin vaikeaa arvioida määrällisin mittarein.

Julkaisutoiminnan mittaaminen

Miksi sitten pitäisi tarkasti määritellä, mikä on esimerkiksi tieteellinen julkaisu?

Suomessa yliopistojen budjettirahoituksen jaossa käytettävää mallia uudistettiin hiljattain, ja julkaisutoiminnan perusteella jaettavan rahoituksen määrää lisättiin olennaisesti. Vuonna 2013 voimaan tulleen rahoitusmallin mukaan yliopistoille jaetaan vuodessa noin 200 miljoonaa euroa niiden julkaisumäärien perusteella. Koska näin ollen jokainen julkaisu on useiden tuhansien eurojen arvoinen yliopistoille, määritelmillä on merkitystä.

Bibliometriikan tutkimusalalle on suuri haaste muuttaa vaikeasti määriteltävä, monisyinen ilmiö yksinkertaisin mittarein kuvattavaksi kokonaisuudeksi. Tämä haaste on hyvin konkretisoitunut nykyisessä työssäni, jossa olemme mukana keräämässä korkeakouluilta tietoja näiden vuosittain tuottamista julkaisuista opetus- ja kulttuuriministeriötä varten.

Julkaisutietoja käytetään korkeakoulujen budjettirahoituksen jakamisen lisäksi myös muihin tiedepoliittisen päätöksenteon tarkoituksiin. Tieteellisen julkaisemisen määrittely ei siis ole vain käsitteellistä tai semanttista pohdiskelua, vaan myös erittäin käytännöllinen kysymys, kun korkeakoulut luokittelevat julkaisuja rekisteröidessään niitä tutkimustietojärjestelmiinsä.

Uusia julkaisumuotoja syntyy jatkuvasti. Tätä on edesauttanut erityisesti sähköisen julkaisemisen tarjoamat mahdollisuudet. Uudet julkaisufoorumit, kuten esimerkiksi verkkosivut, verkkolehdet ja blogit mahdollistavat tutkimustulosten levittämisen niistä kiinnostuneelle yleisölle mahdollisimman laajasti.

Tämä tuottaa kuitenkin lisää haasteita julkaisutoiminnan mittaamiseen. Sen sijaan, että tiedepoliittiset linjaukset ja tavoitteet määrittäisivät käytettäviä mittareita käy usein niin, että tietojen saatavuus määrittää indikaattoreita, joita käytetään.

Tutkimuksen kannalta tärkeitä ulottuvuuksia, kuten uudet julkaisemisen kanavat tai tutkimuksen yhteiskunnallinen relevanssi jäävät helposti huomiotta kvantitatiivisiin mittareihin perustuvissa arvioinneissa, sillä niistä on hankalaa saada yhteismitallista tietoa.

Lienee selvää, etteivät bibliometriset indikaattorit voi korvata laadullista arviointia. Mitä hyötyä niistä sitten on sen lisäksi, että indikaattoreiden lisääntynyt käyttö takaa töitä bibliometrikoille?

Puutteistaan huolimatta bibliometriset indikaattorit ovat tarpeellisia vertaisarvioinnin rinnalla ainakin siten, että niiden avulla voidaan saada ajankohtaista tietoa julkaisutoiminnasta. Oikein käytettynä niiden tulokset ovat vertaisarviointia objektiivisempia ja läpinäkyvämpiä. Bibliometriset analyysit ovat tarpeellisia myös suurten yksiköiden, kuten yliopistojen tai maiden vertailussa. Näissä asiantuntijalausuntoihin perustuva arviointi olisi usein liian työlästä ja kallista toteuttaa.

Bibliometrisin analyysein voidaan myös kumota vallitsevia näkemyksiä julkaisutoiminnan kehityksestä ja nykytilasta. Tätä konkretisoi yksi esimerkki. Julkisessa keskustelussa erityisesti yhteiskuntatieteilijät ja humanistit ovat ilmaisseet huolensa siitä, että luonnontieteiden ja lääketieteen vallitseva tapa julkaista artikkeleita kansainvälisissä lehdissä valtaa alaa kaikilla aloilla, jolloin julkaiseminen kotimaisilla kielillä sekä kirjoissa on uhattuna.

Bibliometriset tutkimukset, mukaan lukien oman väitöskirjani tulokset, eivät kuitenkaan täysin tue tätä näkemystä. Ensimmäinen kattava analyysi eri tieteenalojen julkaisukäytännöistä tehtiin 1990-luvun alun Norjassa, kun Svein Kyvik käsitteli kirjassaan ”Productivity in Academia: Scientific Publishing at Norwegian Universities” tieteenalaryhmien eroja ja julkaisutoimintaan vaikuttavia tekijöitä.

Omat tulokseni perustuvat kaksikymmentä vuotta tuoreempiin aineistoihin Suomesta, mutta tieteenalaerot ovat muuttuneet vain hyvin vähän. Erot julkaisukäytännöissä ovat edelleen varsin selviä, vaikka yliopistoon instituutiona on kohdistunut tänä aikana merkittäviä muutoksia.

Kirjat ja kokoomateokset ovat pitäneet asemansa tärkeänä julkaisumuotona yhteiskunta- ja humanistisissa tieteissä. Toisaalta suomenkielisten julkaisujen määrä ei ole dramaattisesti vähentynyt. On kuitenkin mainittava, että aineistoni eivät ulotu viimeisten viiden vuoden aikana tapahtuneisiin huomattaviin uudistuksiin suomalaisessa tutkimusjärjestelmässä, joita ovat muun muassa korkeakoulujen ja tutkimuslaitosten rakenteelliset uudistukset, yliopistojen lisääntynyt autonomia sekä uuden rahoitusmallin käyttöönotto. Näiden vaikutuksia päästään tutkimaan tulevina lähivuosina.

Myös vertaisarviointiin liittyy tiettyjä puutteita, kuten asiantuntijoiden subjektiivisuus tai tietämättömyys. Bibliometriset analyysit ovat vähemmän alttiita arvioinnin toteuttajien henkilökohtaisille näkemyksille, joskin metodologiset valinnat vaikuttavat tuloksiin. Kuitenkin esimerkiksi viittausindikaattoreita voidaan pitää objektiivisempina siinä mielessä, että muutaman refereen sijaan julkaisut ovat koko tiedeyhteisön arvioitavana.

Bibliometristen indikaattoreiden hyödyntäminen arviointiprosesseissa tarjoaa myös tutkijoille väylän osoittaa, mitä nämä ovat tosiasiallisesti tuottaneet sen sijaan, että arviointi perustuisi vain maineeseen. Ideaalitapauksessa bibliometriset indikaattorit ovat avoimia ja valideja ja ne perustuvat luotettavaan ja läpinäkyvään aineistoon.

On kuitenkin muistettava, kuten väitöskirjani tulokset osoittavat, että bibliometrisissa analyyseissa aineiston ja menetelmien valinnalla on merkittävä vaikutus tuloksiin. Siksi mikä tahansa bibliometrinen analyysi edellyttää huolellista tulkintaa ja menetelmien ja kontekstin hyvää tuntemusta. Bibliometriikka toimii hyvin täydentävänä välineenä vertaisarvioinnin rinnalla, mutta ei korvaa sitä.

Lisäksi bibliometrisia indikaattoreita tulisi edelleen kehittää siten, että ne ottaisivat huomioon erityisesti tieteenalojen erilaiset julkaisukäytännöt. Toki indikaattorit ovat aina tietynlaisia kompromisseja, ja kaikkia aloja täysin yhdenvertaisesti kohtelevia tai tietyn ilmiön täydellisesti vangitsevia mittareita ei voida kehittää. Tästäkin syystä samojen indikaattoreiden käyttö kaikilla tieteenaloilla ei aina ole mielekästä. Yksinkertaistettujen indikaattoreiden sijaan kaikilla tutkimuksen arvioinnin tasoilla suuntauksen tulisi olla kohti monipuolisempia mittareita.

Teksti perustuu Puuskan väitöslektioon 6.6.2014.

Kirjallisuus:

Bourke, Paul & Butler, Linda (1996). Publication types, citation rates and evaluation. Scientometrics, 37(3), 473-494.

Hicks, Diana (2004). The four literatures of social science. In Moed, H., Glänzel, W., & Schmoch, U. (Eds.) Handbook of Quantitative Science and Technology Research. Kluwer Academic Publishers.

Kyvik, Svein (1991). Productivity in academia: scientific publishing at Norwegian universities. Rådet for samfunnsvitenskapelig forskning, NAVF.

Ossenblok, Truyken; Engels, Tim, & Sivertsen, Gunnar (2012). The representation of the social sciences and humanities in the Web of Science—a comparison of publication patterns and incentive structures in Flanders and Norway (2005–9). Research Evaluation, 21(4), 280-290.

Piro, Fredrik; Aksnes, Dag, & Rørstad, Kristoffer. (2013). A macro analysis of productivity differences across fields: Challenges in the measurement of scientific publishing. Journal of the American Society for Information Science and Technology, 64(2), 307-320.