Teknologian tutkimuskeskus VTT on saanut valmiiksi tutkimuksen, jossa selvitettiin, miten Helsingin yliopistossa kehitetty uutisrobotti Valtteri suoriutuu kuntavaaliuutisoinnista verrattuna ihmistoimittajiin. Testiä varten kaksi toimittajaa ja Valtteri tuottivat joukon 150–180 sanan pituisia uutisia kuntavaalien äänestystulosten pohjalta.
Yhteensä 172 lukijasta koostuva paneeli arvioi uutisia tietämättä, mikä on ihmisen ja mikä koneen teksti.
Panelistit erehtyivät luulemaan peräti viidesosaa heille esitetyistä automaattisesti tuotetuista uutisista ihmisen kirjoittamiksi. Vastaavasti joka kymmenennellä arviointikerralla lukijat uskoivat ihmisen kirjoittaman uutisen tulleen robotin kynästä.
Yleisö antoi jokaiselle lukemalleen jutulle arvosanan 1–5 kaikkiaan neljällä eri kriteerillä.
– Valtteri sai huonommat arvosanat kuin toimittajat, mutta parhaiten se pärjäsi uskottavuudessa, jossa sen jutut saivat keskiarvon 3,6 ja ihmisen kirjoittamat jutut 4,1, sanoo tutkimusprofessori Caj Södergård VTT:ltä.
Uskottavuuden lisäksi lukijat arvioivat, miten miellyttävää, laadukasta ja edustavaa uutisteksti oli. Huonoimmat arvosanat automaattisesti tuotetut uutiset saivat juuri kiinnostavuutta ja eläväisyyttä mitanneella miellyttävyys-kriteerillä, jossa Valtterin juttujen keskiarvoksi tuli 2,3 ja ihmisten kirjoittamien juttujen 4,0.
”Valtteri sai huonommat arvosanat kuin toimittajat, mutta parhaiten se pärjäsi uskottavuudessa.”
Toimittajat kirjoittivat uutiset pelkästään tulostietojen pohjalta tietämättä, mistä puolueista, ehdokkaista ja paikkakunnista on kysymys. Erisnimet oli korvattu tulostiedostossa koodeilla, jotka taas korvattiin oikeilla nimillä ennen uutisten esittämistä yleisöpaneelille.
Anonymisointi tehtiin, etteivät poliittiset tai maantieteelliset mieltymykset pääsisi vaikuttamaan tekstiin. Samalla tämä luonnollisesti esti toimittajia esimerkiksi hyödyntämästä yleistietoaan.
Tiedoissa oli mukana muun muassa puolueiden ja ehdokkaiden äänimäärät edellisissä kuntavaaleissa, ehdokkaan sukupuoli ja ikä sekä tieto, tuliko ehdokas valituksi ja onko hän istuva valtuutettu vai ei. Tämä mahdollisti nimettömälläkin datalla monenlaisten näkökulmien löytämisen aineistosta.
Södergårdin mukaan huomionarvoista oli, että kun ihmiset saivat itse valita jutut, jotka lukivat, sai Valtteri jonkin verran paremmat arviot kuin tilanteessa, jossa arvosteltavat tekstit arvottiin lukijalle. Tämä viittaa Södergårdin mukaan siihen, että jos aihe on lukijaa kiinnostava, lukijat ovat valmiita sietämään tekstiltä enemmän puutteita.
Robottitoimittajan tuotokset saivat parhaat arvosanat niiltä lukijoilta, jotka kertoivat kuluttavansa uutisia eniten ja joille automaattisesti tuotetut uutiset olivat entuudestaan tutuimpia. Yli 55-vuotiaat miehet antoivat robottijutuille parhaat arvosanat, kun taas huonoimmat arvosanat Valtteri sai alle 34-vuotiailta naisilta.
– Ajattelimme tämän viittaavan siihen, että nuoret naiset arvostavat enemmän sujuvaa kieltä ja vanhemmat miehet ovat enemmän kiinnostuneet faktoista, sanoo Södergård.
Kaiken kaikkiaan Södergård katsoo Valtterin olevan valmis tositoimiin, joskaan ei ehkä vaalitoimittajana, jolle on käyttöä harvemmin.
Valtterin ilmaisua kehitetään vielä tutkimushankkeessa yleisöpaneelin tulosten pohjalta ja parannettua versiota sovelletaan Södergårdin mukaan seuraavaksi rikosuutisten kirjoittamiseen. Yleisöpaneeli saa ”Rikos-Valtterin” tekstit arvioitavakseen huhtikuun puolivälin jälkeen, ja tulokset raportoidaan viimeistään toukokuun lopulla.
Södergård kertoo, että tutkimushankkeen taustalla olevat mediatalot ovat kiinnostuneita ottamaan Valtterin toimitustyöhön. Vaikka työn laatu ei ainakaan vielä yllä ihmistoimittajien tasolle, Valtterin kiistattomana etuna on se, että kone tuottaa samalla vaivalla esimerkiksi vaalitulosuutisen yhdestä kunnasta kuin kaikista 311 kunnasta.
Samoin automatisointi mahdollistaa personoinnin, jossa lukija saa uutiseensa juuri hänelle merkityksellisimmät tiedot. Södergård muistuttaakin, että Valtterin työn jälkeä ei pidä arvioida ainoastaan ihmisen työn jälkeä vasten.
– Vaihtoehtona Valtterin jutulle voi olla myös juttu, jota ei kirjoiteta ollenkaan, sanoo Södergård.
Valtteria kehitetään VTT:n, Helsingin yliopiston ja Social- och kommunalhögskolanin yhteisessä tutkimushankkeessa. Mediataloista hankkeessa ovat mukana Alma, Kaleva, Keski-Pohjanmaa, KSF Media ja Sanoma. Päärahoittajana hankkeessa on Tekes eli nykyiseltä nimeltään BusinessFinland.
Muita yhteistyökumppaneita ovat Viestintäalan tutkimussäätiö, Svenska Kulturfonden ja mobiilipalveluja kehittävä Conmio.
Jutun kirjoittaja oli toinen toimittajista, joiden kirjoittamiin vaaliuutisiin Valtterin tuottamia uutisia verrattiin tutkimuksessa.