KInIT opísal benchmark slovenských speech-to-text modelov pre Slovak Telekom

Primárny zdroj opisuje projekt s názvom „Slovak Speech-to-Text Model Benchmark“ pre partnera Slovak Telekom. KInIT jeho cieľ formuluje ako zaplnenie medzery v slovenčine: vytvoriť nezávislý benchmark speech-to-text modelov pre slovenský jazyk so špeciálnym dôrazom na telekomunikačnú doménu a dodať podklad pre výber vhodného riešenia. Z textu zároveň vyplýva, že problémom nebola iba samotná presnosť prepisu, ale absencia spoločného porovnania na rovnakých slovenských dátach.

KInIT uvádza, že zozbieral a kurátoroval 354 hodín slovenského audia s prepismi naprieč viacerými doménami. Zdroj menuje kombináciu verejných datasetov, dát dodaných Slovak Telekomom a nových datasetov vytvorených v KInIT vrátane zasadnutí mestských zastupiteľstiev, čítaných literárnych textov a skriptovaných dialógov call centra. Na týchto dátach podľa opisu vyhodnotili viac než 20 speech-to-text modelov, a to komerčné služby aj open-weight modely.

Mechanizmus hodnotenia bol viacvrstvový. Zdroj výslovne uvádza celkovú presnosť prepisu pre všeobecnú aj doménovo špecifickú slovenskú reč. Osobitne sledoval čísla, teda spoľahlivosť prepisu súm, dátumov a identifikátorov pomocou špecializovaných metrík na úrovni číslic. Ďalšia vrstva sa týkala telco terminológie, kde sa meralo rozpoznanie doménových výrazov cez precision a recall pre jednotlivé termíny. Štvrtá časť sa zamerala na odolnosť voči rušeniu: KInIT píše, že simuloval šesť typov skreslenia audia pri viacerých intenzitách a sledoval, ako sa modely degradujú.

Podľa KInIT hlavným výstupom projektu bol detailný benchmark report, ktorý má Slovak Telekomu poskytnúť objektívne porovnanie dostupných speech-to-text riešení pre slovenčinu. Zdroj to interpretuje ako prechod od výberu podľa dôvery k výberu podľa dôkazov. Rovnakú interpretáciu podporuje aj citácia zástupcu Slovak Telekomu, ktorý benchmark opisuje ako základ pre rozhodovanie o technológii na analýzu zákazníckych konverzácií a o ďalších investíciách. Ide však stále o tvrdenia zúčastnených strán, nie o nezávislé externé overenie.

Text opisuje aj nadväzujúci návrh: proces označovania anonymizovaných nahrávok call centra kombináciou viacerých silných modelov a ľudského overenia na vzorke. KInIT tvrdí, že takto možno získať interné doménové dáta za zlomok ceny ručného prepisu. Takéto dáta by sa potom dali použiť na doladenie open-weight modelov pre telco doménu a na end-to-end hodnotenie celého analytického pipeline od audia po výsledné poznatky.

Dodaný podklad neobsahuje výsledkové tabuľky, konkrétne skóre ani poradie modelov. Z článku preto nemožno zistiť, ktorý speech-to-text systém dopadol najlepšie, aké boli rozdiely medzi modelmi ani aké kompromisy vznikli medzi všeobecnou presnosťou, číslami, terminológiou a šumom. Rovnako tu nie je verejný reprodukovateľný dataset ani nezávislé testovanie. Najpresnejšie je preto tento materiál čítať ako zdokumentovaný opis benchmarku a jeho metodiky, nie ako verejné finálne poradie modelov.