Modeli za govor s najboljim rezultatima ponavljaju greške iz samog testa

Stopa greške po riječi je brojka po kojoj se modeli za prepoznavanje govora najčešće porede. Istraživanje Hugging Facea pokazuje šta ta brojka umije da mjeri umjesto tačnosti. Tim je isprobao 11 otvorenih modela, među njima Whisper Large v3, Nvidia Canary i IBM Granite, na skupu VoxPopuli na engleskom i na obje podjele skupa LibriSpeech, uz tri provjere koje bi bolji sistem za transkripciju prošao, a onaj skrojen po skupu podataka pao.

Referenca je pogrešna, a modeli je ponavljaju

Prva provjera traži mjesta na kojima se transkripcija iz samog testa ne poklapa sa zvukom. Oko 40 odsto snimaka iz testnog dijela skupa VoxPopuli označeno je kao mjesto s mogućom greškom u referenci, a to je dovoljno velik udio da pomjeri svaki poredak sagrađen nad tim skupom.

Nalaz je u tome šta su modeli s tim uradili. Šest od 11 ponovilo je pogrešnu transkripciju, zapisujući ono što referenca navodi umjesto onoga što se u snimku čuje. Modeli s najnižom stopom greške po riječi to su radili najčešće. Ocjena, dakle, nagrađuje slaganje s referencom, a slaganje s referencom nije isto što i tačno prepoznat govor.

Popunjavanje zaklonjenog zvuka

Druga provjera zaklanja dio zvuka, na primjer neki broj, i posmatra da li ga model ipak ispiše. Na skupu LibriSpeech pojedini najbolje rangirani modeli ispisali su zaklonjene brojeve u otprilike 30 do 40 odsto slučajeva.

Do takvog odgovora ne vodi nijedan put kroz zvuk. Model koji zapiše broj koji ne može čuti uzima ga iz zapamćenog, a na javnom testu to je najvjerovatnije sam test.

Prepoznavanje ispita

Treća provjera je najdirektnija. Različiti skupovi podataka slijede različite pravopisne konvencije, pa su istraživači posmatrali da li model mijenja konvenciju zavisno od toga iz kojeg skupa snimak dolazi. Više modela prešlo je granicu od 50 odsto, koliko bi dalo nasumično pogađanje, a neki su stigli do oko 90 odsto tačnosti pri prebacivanju.

Autori to tumače tako da modeli koriste okolni zvučni kontekst da odluče hoće li slijediti snimak ili primijeniti pravilo transkripcije svojstveno tom testu. Drugim riječima, model prepoznaje ispit i odgovara u njegovom stilu.

Šta iz toga slijedi za izbor modela

Praktičan zaključak navodi i samo istraživanje: kandidate treba poređati na potpuno izdvojenom skupu za ocjenjivanje, a ne po jednoj objavljenoj brojci. Kod govora je to neobično lako izvesti, jer sopstveni zvučni materijal i jeste taj izdvojeni skup — snimci stvarnih sagovornika, u stvarnim uslovima i sa stvarnim rječnikom.

Uz to slijedi i razlog za oprez prema malim razlikama na tabeli. Ako se krojenje po skupu podataka gomila baš na vrhu, razlika od poena ili dva među vodećima najmanje je pouzdan dio te tabele.