Mistral Large 4 má bilión parametrov. Otvorené váhy sú zatiaľ prísľubom

Mistral 6. októbra predstavil Large 4 vo verejnej predbežnej verzii. Firma zároveň oznámila zámer uvoľniť váhy do konca októbra. K dátumu tejto rešerše, 17. októbru, preto nemožno predstavenie opisovať ako dokončené vydanie váh na vlastný server. Dokumentácia modelu a jeho dostupnosť v službe sú iný míľnik než stiahnuteľný balík.

Rozdiel je podstatný pre firmy, ktoré chcú mať spracovanie dokumentov pod vlastnou kontrolou. Testovať kvalitu odpovedí cez poskytovateľa môžu skôr, ale návrh vlastnej infraštruktúry potrebuje aj presný formát váh, licenciu a podporovaný spôsob spustenia.

Large 4 používa architektúru mixture-of-experts: podľa Mistralu má celkovo bilión parametrov, pričom pri spracovaní tokenu aktivuje približne 52 miliárd. Odborné časti siete sa tak zapájajú výberovo. Počet aktívnych parametrov pomáha vysvetliť výpočtové nároky, ale neodstraňuje potrebu uložiť a obslúžiť celý model.

Mistral uvádza podporu 160 jazykov a tréning na vlastnej európskej infraštruktúre s 3 800 systémami Grace Blackwell. To opisuje pôvod a rozsah vývoja. Samo osebe to však nedokazuje kvalitu slovenských technických textov ani vhodnosť pre konkrétny firemný dokument.

Najdôležitejší test nie je všeobecná otázka z internetu, ale reprezentatívna pracovná úloha. Pri technickej podpore môže ísť o hľadanie správneho postupu v návode, pri vývoji o zmenu, ktorá musí prejsť testami. Hodnotiť treba aj odmietnutie odpovede tam, kde podklady chýbajú.

Predbežná verzia navyše vyžaduje sledovať zmeny správania a rozhrania. Rozpočet pilotu má oddeliť cenu samotného modelu od rešerše, vyhľadávania a kontroly výstupu. Zverejnené porovnania výrobcu sú užitočný vstup, no rozhodnutie o nasadení má stáť na vlastných dátach. Sľúbené váhy by po vydaní otvorili ďalšiu možnosť prevádzky, nie automaticky lacnejší alebo bezúdržbový systém.

Samostatná prevádzka je tiež projekt správy modelu. Tím musí vedieť obnoviť službu, sledovať využitie pamäte a zvoliť kapacitu pre súbežné požiadavky. Pri rozhodovaní preto nestačí samotná informácia, že váhy budú otvorené. Potrebné je overiť aj distribučné podmienky konkrétneho vydania a to, či podporovaný softvér zvládne požadované nástroje, formát odpovede a dĺžku vstupu pri prijateľnom čase spracovania.