Empiiristen tutkimusten tulosten luotettavuus koostuu monista tekijöistä, joista merkittävimpiä on käytetty tutkimusmenetelmä. Se voidaan ajatella tapana, jolla tutkimuksen aineisto on kerätty. Kontrolloidut kokeet ovat arvostetuin tapa saada tietoa syy-seuraussuhteista, sillä niissä tutkijat voivat altistaa osan tutkimuksen kohteista ja verrata altistettua ryhmää altistamattomaan eli kontrolliryhmään. Tutkimusmenetelmää ei kuitenkaan voida käyttää, mikäli tutkittu altiste on haitallinen tai tutkimusaineisto on kerätty jo ennen tutkimuksen alkua.
Empiirisessä ohjelmistotekniikan tutkimuksessa, ja etenkin Mining Software Repositories -tyypin (MSR) tutkimuksissa, hyödynnetään usein ohjelmistokehityksen aikana luonnollisesti kertyvää aineistoa, kuten projektien versionhallintaan kertyvää lähdekoodia ja erilaisiin työkaluihin tallentuvia tietoja. Tällainen aineisto ei sovi kontrolloitujen kokeiden tekemiseen, mikä on ongelma etenkin MSR-tutkimuksissa. Alalta kuitenkin puuttuu vaihtoehtoinen tutkimusmenetelmä, jolla voitaisiin luotettavasti tutkia syy-seuraussuhteita.
– MSR-tutkimuksessa käytetään usein isoa määrää olemassa olevaa automaattisesti kerättyä havainnointiaineistoa. Aineisto on luotettavaa ja kattavaa, ja esimerkiksi ohjelmiston lähdekoodin tila tiedetään jokaisena ajanhetkenä sen luomisesta lähtien. Nykyisillä tutkimusmenetelmillä osa aineiston potentiaalista jää kuitenkin hyödyntämättä, Nyyti Saarimäki kertoo.
Tuloksena ohjeistus kohorttimenetelmän käyttöön MSR-tutkimuksissa
Väitöstutkimuksessaan Saarimäki etsi MSR-alan erityispiirteille soveltuvan tutkimusmenetelmän, jolla voidaan saada korkealaatuisia tuloksia MSR-tutkimukselle tyypillisellä aineistolla. Väitöskirjassaan hän ehdottaa ratkaisuksi epidemiologiassa yleisesti käytettyä kohorttitutkimusmetodologiaa. Siinä seurataan etukäteen määritetty ajanjakso luonnollisesti altistuneista ja altistumattomista tutkimuskohteista koostuvaa ryhmää ja lopulta verrataan tutkitun ilmiön esiintymisyleisyyttä eri ryhmien välillä.
– Epidemiologiassa kohorttitutkimuksilla on tutkittu niin tupakan ja keuhkosyövän välistä yhteyttä kuin koronan terveysvaikutuksiakin. Empiirisen ohjelmistotekniikan tutkimuksessa niitä voitaisiin hyödyntää esimerkiksi selvittämään vaikuttaako jonkin työkalun käyttäminen ohjelmiston laatuun, Saarimäki toteaa.
Väitöskirjassaan Saarimäki esittää ensimmäisen version ohjeista kohorttitutkimusten toteuttamiseen MSR-alan tutkimuksessa. Luotu ohjeistus on merkityksellinen alan tutkimusyhteisölle, sillä tutkijat voivat hyödyntää ohjeistusta omassa tutkimuksessaan. Tutkimuksesta on hyötyä myös MSR-tutkimukselle yleisesti, sillä se käsittelee laajalti myös havainnointiaineiston käyttämistä tutkimuksessa riippumatta itse tutkimusmenetelmästä.
Väitöstilaisuus tiistaina 14. marraskuuta
Diplomi-insinööri Nyyti Saarimäen ohjelmistotekniikan alaan kuuluva väitöskirja Applying Retrospective Cohort Study Methodology in Mining Software Repositories Studies tarkastetaan julkisesti Tampereen yliopiston informaatioteknologian ja viestinnän tiedekunnassa tiistaina 14.11.2023 klo 13 Hervannan kampuksen Sähkötalon auditoriossa S3 (Korkeakoulunkatu 3, Tampere). Vastaväittäjänä toimii professori Marcela Genero Castilla-La Manchan yliopistosta. Kustoksena toimii professori Davide Taibi Tampereen yliopiston informaatioteknologian ja viestinnän tiedekunnasta.
Seuraa väitöstilaisuutta etäyhteydellä.
Kuva: Ansse Saarimäki