SLAIH spustil centrálny hub pre slovenské datasety, modely a benchmarky
Slovak Language AI Hub podľa svojho oznámenia spustil centrálne miesto pre datasety, modely a benchmarky pre slovenčinu. V prvej verzii uvádza kurátorovaný katalóg zdrojov a výsledky troch benchmarkov: skLEP, SkMTEB a Speech-to-Text.
Na Slovensku pribudol nový orientačný bod pre prácu so slovenčinou v AI. Slovak Language AI Hub, skrátene SLAIH, sa predstavil ako centrálne miesto pre datasety, modely a benchmarky pre slovenský jazyk.
Podľa oznámenia má hub riešiť problém, ktorý v slovenskom NLP prostredí dlhšie chýbal: jedno miesto, kde výskumníci, vývojári a firmy nájdu zdroje pre slovenčinu pohromade. Nejde teda len o zoznam odkazov, ale aj o snahu uľahčiť porovnávanie modelov a zlepšiť dostupnosť existujúcich podkladov.
Prvá verzia webu uvádza kurátorovaný katalóg zdrojov a výsledky troch benchmarkov: skLEP, SkMTEB a Speech-to-Text. Práve benchmarková časť je dôležitá tým, že má podľa SLAIH umožniť porovnávať viaceré typy modelov na slovenčine na jednom mieste.
Zatiaľ však ide o štartovaciu verziu a o vlastný opis projektu. Zdroj hovorí aj o ďalšom rozširovaní katalógu a pridávaní ďalších aktérov ekosystému, no z dodaných podkladov nevyplýva nezávislé overenie úplnosti katalógu, rozšírenia používania ani kvality zverejnených benchmarkov.
Podrobnosti a podklady
Čo bolo oznámené
Oznámenie priamo uvádza spustenie Slovak Language AI Hubu ako „centrálne miesto pre datasety, modely a benchmarky pre slovenský jazyk“. To je najpevnejšie doložená časť príbehu: ide o štart novej webovej iniciatívy zameranej na jazykové AI zdroje pre slovenčinu.
Aký problém má hub riešiť
Motiváciu projektu zdroj formuluje ako reakciu na chýbajúce spoločné miesto pre slovenské NLP zdroje. Keďže ide o sebapopis autorov projektu, treba túto časť čítať ako tvrdenie SLAIH o potrebe v ekosystéme, nie ako nezávisle zmeraný stav trhu alebo výskumu. V tom istom oznámení sú pomenované aj ciele: zlepšiť dostupnosť NLP zdrojov pre slovenčinu, podporiť transparentné porovnávanie modelov a postupne budovať prehľad o slovenskom AI ekosystéme.
Čo obsahuje prvá verzia
Najkonkrétnejší technický obsah prvej verzie je dvojitý. Po prvé, stránka má obsahovať kurátorovaný katalóg dostupných zdrojov. Po druhé, uvádza výsledky troch benchmarkov — skLEP, SkMTEB a Speech-to-Text. Zdroj dodáva, že tieto benchmarky „umožňujú porovnávať viaceré typy modelov na slovenčine“. Z dodaného materiálu však nevyplývajú detaily metodiky týchto troch benchmarkov ani ich výsledkové tabuľky, takže článok nemá ísť ďalej než k tomuto rámcovému opisu obsahu hubu.
Čo zatiaľ ostáva otvorené
Oznámenie výslovne hovorí, že ide len o začiatok. SLAIH plánuje katalóg rozširovať, pridávať ďalších aktérov ekosystému a postupne budovať priestor pre spoločný rast slovenského NLP. To je plánovaný smer, nie hotový výsledok. Z dostupných podkladov sa preto nedá potvrdiť miera adopcie, úplnosť pokrytia slovenských zdrojov ani praktický dopad na vývoj modelov.
Zdroje
Súvisiace
Ďalšie články k téme
SLAIH upozorňuje na päť zdrojov pre slovenčinu v AI: od multimodálneho modelu po rečové a férovostné datasety
SLAIH vo svojom oznámení vyzdvihol päť prírastkov v katalógu pre slovenské jazykové technológie: multimodálny model MiniMax-M3, embeddingový benchmark SkMTEB, benchmark rodových stereotypov GEST, rečový korpus SloPalSpeech a open-source TTS systém Piper. Pri každej položke ide o opis a parametre, ktoré uvádza samotné SLAIH.
SLAIH: pri slovenskom prepise reči nestačí jedno číslo z rebríčka
SLAIH opisuje, že dôveryhodný benchmark pre slovenské speech-to-text modely stojí na voľbe normalizácie, pestrej testovacej množine a meraní v zhoršených akustických podmienkach. Organizácia zároveň upozorňuje, že agregované skóre môže zakryť veľké rozdiely medzi čítanou a spontánnou rečou a že dnešný benchmark má aj jasne pomenované obmedzenia.
KInIT tvrdí, že slovenské dáta vedia výrazne zlepšiť prepis reči
Na SLAIH je podľa oznámenia dostupný prvý špecializovaný benchmark rozpoznávania reči pre slovenčinu. KInIT zároveň uvádza, že pri doladení otvorených modelov na slovenských dátach klesla chybovosť približne na polovicu, no dnešné verzie majú aj jasné limity v pokrytí domén a vo viacjazyčnom použití.
Jedno číslo z AI rebríčka nestačí: SLAIH vysvetľuje, ako čítať benchmarky
SLAIH upozorňuje, že jedno agregované skóre z leaderboardu môže pri výbere AI modelu skryť rozdiely v metodike, dátach aj schopnostiach. Pri praktickom nasadení preto odporúča pozerať sa na benchmarky, ktoré zodpovedajú konkrétnej úlohe, napríklad na slovenské embedding benchmarky pre RAG.