Olen kehittänyt jatko-opintojen aikana itselleni hyvin korkean kynnyksen omien tutkimustulosteni julkaisemiseen. Haluan yrittää varmistaa, että tulokseni ovat mahdollisimman oikein ja merkityksellisiä.

Ja näinhän kaikki tieteentekijät tekevät, eikö?

Akateemisella uralla eteneminen riippuu pitkälti siitä, saako tuotettua julkaisuja. Myös tohtoriksi valmistuminen vaatii julkaisemista, koska enää ei suositella monografiaväitöskirjojen tekemistä. Rahoituksia myöntävät tahot ja rekrytoijat mittaavat hakijoiden pätevyyttä usein painottaen julkaisu- ja viittausmääriä. Syy on varmasti pitkälti käytännöllinen: julkaisumääriä ja viittauksia on helpompi mitata kuin esimerkiksi yhteiskunnallista vuorovaikutusta tai opetusansioita. Nykyinen systeemi, joka palkitsee kovasta julkaisutahdista ja sopivasti sommitelluista viitteistä, saattaa kuitenkin pahimmassa tapauksessa johtaa heikkolaatuiseen tutkimukseen.

Katsoin taannoin videon ”Is Most Published Research Wrong?”, joissa yhtenä suurimpana syynä väärien tulosten julkaisemiseen mainitaan juuri julkaisemista painottava palkitsemisjärjestelmä. Suosittelen ko. videon katsomista muillekin:

Videolla ei tietenkään pistetä kaikkia virheellisiä tutkimustuloksia järjestelmän piikkiin. Joskus täysin kunnolla ja kaikkien taiteen sääntöjen mukaan toteutettu tutkimus voi tuottaa vääriä tuloksia. Kyse on enemmänkin siitä, kuinka tutkimusmaailmassa kannustetaan julkaisemaan jopa tekaistuja tuloksia. Useimmiten tutkijat eivät todennäköisesti vääristele tuloksia tietoisesti, mutta monissa tutkimusaiheissa on sudenkuoppia, jotka pystyy välttämään vain vaarat tiedostamalla. Tunnistan monet videolla käsitellyt kompastuskivet myös omassa tutkimusalassani.

Ensinnäkin tutkimuksen tekeminen kaikilta osin kunnolla vie aikaa – erityisesti kun tutkitaan jotain niinkin hankalaa ja monitahoista ilmiötä kuin oppiminen. Aikaa ei etenkään tohtorikoulutettavilla kuitenkaan ole liikaa käytössään tutkimuksen huolelliseen suunnitteluun, pilotointiin, toteuttamiseen, tulosten analysointiin ja raportointiin, koska väitöskirjatyö pitäisi saada mahdutettua neljään vuoteen. Mitä nopeammin saa suollettua papereita ulos ja kasattua niistä kelvollisen kirjasen, sitä parempi. Samanlaiset paineet kohdistuvat useimpiin nuoriin tutkijoihin (ja vanhempiin myös, mutta todennäköisesti jonkin verran lievempinä).

Oma alani on siinä mielessä myös hankala, että oppimiseen vaikuttavat niin monet tekijät, ettei niitä pysty kaikkia kontrolloimaan. Tai oikeammin: en keksi muita kuin eettisesti hyvin epäilyttäviä tapoja järjestää (lähes) kontrolloituja, aitoja tutkimusasetelmia, joissa mitataan ihmisen oppimista. Kokeiden suunnitteluun pitäisikin voida käyttää aikaa ja erilaisia koeasetelmia testata, jotta näkisi, toimivatko ne kuvitellulla tavalla vai onko niissä liikaa ulkoisia vaikuttavia tekijöitä. Joka tapauksessa monissa tilanteissa joudutaan tyytymään enemmän tai vähemmän epäideaaliin tutkimusasetelmaan.

Yksi huolestuttava ilmiö, josta saan itseni usein kiinni sekä tutkimustyössä että arkipäivän päättelyssä, on ns. vahvistusvinouma. Psykologiassa vahvistusvinoumalla tarkoitetaan sitä, että ihminen kiinnittää huomionsa seikkoihin, jotka vahvistavat hänen ennakkokäsitystään asiasta. Vahvistusvinouma vaikuttaa paitsi sopivan tutkimuskirjallisuuden etsimiseen ja valitsemiseen, myös tulosten tulkintaan. Kuten videollakin todetaan, ihminen näkee sen, mitä hän odottaa näkevänsä – jopa huolella kerätystä ja analysoidusta datasta. Datan analysoiminen on aina valintojen ja tulkintojen tekemistä, mistä pitäisi olla hyvin tietoinen.

Omien tulosteni luotettavuuteen vaikuttavat myös pienet koe- ja kontrolliryhmät. Kurssit, joilla tutkimustani teen, eivät ole erityisen suuria, eikä kaikista kurssin osallistujista usein saada kerättyä kaikkia dataosioita. Puhtaasti tilastollinen analyysi on usein siis poissuljettu vaihtoehto. Toisaalta pelkän kvalitatiivisen analyysin käyttäminen antaa mielestäni liikaa tilaa tulkinnoille. Itse pyrinkin siksi useimmiten yhdistämään sekä kvantitatiivista että kvalitatiivista osaa analyysissa ja käyttämään ns. sekamenetelmiä (mixed methods).

”Kovissa” luonnontieteissä ollaan näissä suhteissa onnellisessa asemassa, koska usein koeolosuhteet ovat hyvin säädeltyjä, otosmäärät kohtuullisen suuria, ja mallit ihanteellisessa tapauksessa mahdollisimman yksinkertaisia. Myöskään nämä alat eivät kuitenkaan ole immuuneja julkaisutahtia kiihdyttävän järjestelmän vaikutuksille. Fysiikan puolella olen kuullut valitusta ja ihmettelyä siitä, kuinka yhteen kuuluvia tuloksia jaetaan useampaan julkaisuun. Jokunen on lisäksi valitellut, etteivät kaikki (varsinkaa tohtorikoulutettavien) tutkimusprojektit vaikuta aina tieteellisesti kovin mielekkäiltä tai merkityksellisiltä. Jotain on kuitenkin tutkittava ja jostain julkaistava.

Vaikka julkaisusysteemin ongelmista tuskin lähitulevaisuudessa päästään kokonaan eroon, olisi hyvä, että mahdollisimman moni – sekä tieteentekijä että tiedettä seuraava – tiedostaisi tilanteen.