Modeli za govor s najboljim rezultatima ponavljaju greške iz samog testa

Stopa greške po riječi je brojka koju svi porede, a ovo je istraživanje koje pokazuje šta ona umije tiho da mjeri umjesto toga. Tim je isprobao 11 otvorenih modela, među njima Whisper Large v3, Nvidia Canary i IBM Granite, na skupu VoxPopuli na engleskom i na obje podjele skupa LibriSpeech, i osmislio tri provjere koje bi stvarno bolji prepisivač prošao, a onaj skrojen po skupu podataka pao.

Referenca je pogrešna, a modeli se s njom slažu

Prva provjera traži mjesta na kojima se prepis iz samog testa ne poklapa sa zvukom. Oko 40 odsto snimaka iz testnog dijela skupa VoxPopuli označeno je kao mjesto s mogućom greškom u referenci, a to je dovoljno velik udio da pomjeri svaki poredak sagrađen nad tim skupom.

Nalaz je u tome šta su modeli s tim uradili. Šest od 11 ponovilo je pogrešan prepis, zapisujući ono što referenca kaže umjesto onoga što se u snimku čuje. Modeli s najnižom stopom greške po riječi to su radili najčešće, a to je cio problem izrečen u jednoj rečenici: ocjena nagrađuje slaganje s referencom, a slaganje s referencom nije isto što i tačno čuti.

Popunjavanje onoga što je zaklonjeno

Druga provjera zakloni dio zvuka — recimo neki broj — i gleda da li ga model ipak ispiše. Na skupu LibriSpeech pojedini najbolji modeli po rezultatu ispisali su zaklonjene brojeve u otprilike 30 do 40 odsto slučajeva.

Do tog odgovora ne vodi nijedan put kroz zvuk. Model koji zapiše broj koji ne može da čuje vadi ga iz nečega što je zapamtio, a na javnom testu to nešto je najvjerovatnije sam test.

Prepoznati koji ispit polažeš

Treća provjera je najdirektnija. Različiti skupovi podataka slijede različite pravopisne konvencije, pa su istraživači gledali da li model mijenja konvenciju zavisno od toga iz kojeg skupa snimak dolazi. Više modela je prešlo granicu od 50 odsto, koliko bi dalo nasumično pogađanje, a neki su stigli do oko 90 odsto tačnosti pri prebacivanju.

Autori to čitaju tako da modeli koriste okolni zvučni kontekst da odluče hoće li slijediti snimak ili primijeniti pravilo prepisivanja svojstveno tom testu. Prostije rečeno: model prepozna ispit i odgovara u stilu tog ispita.

Šta s ovim uraditi pri izboru modela

Praktičan zaključak je onaj koji istraživanje i navodi: kandidate poređaj na potpuno izdvojenom skupu za ocjenjivanje, ne po jednoj objavljenoj brojci. Kod govora je to neobično lako izvesti, jer tvoj sopstveni zvuk i jeste taj izdvojen skup — snimci tvojih sagovornika, u tvojim uslovima, s tvojim rječnikom.

Uz to je i razlog za oprez prema razmaku između dva reda na tabeli. Ako se krojenje po skupu podataka gomila baš na vrhu tabele, onda je razlika od poena ili dva među vodećima najmanje pouzdan dio cijele tabele.