Liquid AI prináša lokálneho agenta s dvoma miliardami aktívnych parametrov

Liquid AI 13. októbra predstavilo LFM2.5-24B-A2B, model určený na viacstupňové úlohy a používanie nástrojov. Má 24 miliárd parametrov, no pri spracovaní tokenu aktivuje približne dve miliardy. Dostupné váhy umožňujú lokálnu prevádzku bez odosielania každej otázky do vzdialeného modelového API.

To je zaujímavé pri práci so súbormi alebo internými údajmi. Samotná lokálna inferencia však nestačí na súkromie celého agenta: vyhľadávanie na internete, externé nástroje alebo telemetria sú samostatné cesty, ktorými môžu údaje odchádzať zo zariadenia.

Architektúra kombinuje krátke konvolúcie a pozornosť. V blokoch mixture-of-experts vyberá štyroch zo 64 expertov. Kontext sa oproti predchodcovi zväčšil z približne 32-tisíc na 131-tisíc tokenov a rozšíril sa aj slovník. Model pred odpoveďou vytvára fázu uvažovania, ktorá zaberá ďalší čas aj tokeny.

Modelová karta poskytuje konfigurácie pre lokálne agentové nástroje a podporované runtime. Pri spustení sa musí zmestiť celý súbor váh spolu s pracovnou pamäťou. Dve miliardy aktívnych parametrov preto nemožno zamieňať s nárokmi samostatného dvojmiliardového modelu.

Lokálne rozhranie kompatibilné s bežnými chatovacími API umožňuje pripojiť model k existujúcemu agentovému nástroju. Nie je to však iba výmena adresy servera. Nástroj musí rozumieť formátu volania funkcií a správne oddeliť priebežné uvažovanie od konečnej odpovede. Práve tieto integračné detaily rozhodujú, či ukážka funguje aj pri opakovanom pracovnom postupe.

Liquid AI uvádza 184 tokenov za sekundu na Apple M5 Max a vysokú celkovú priepustnosť pri súbežných úlohách na NVIDIA B300. Ide o odlišné režimy merania. Súčet tokenov mnohých klientov nehovorí, ako dlho bude na odpoveď čakať jeden používateľ notebooku.

Vlastný pilot by mal začať jednoduchým pracovným postupom: prečítať súbor, vyhľadať údaj a pripraviť zmenu na kontrolu. Hodnotiť treba správne volanie nástrojov, úspešnosť dokončenia a počet opakovaní. Publikované porovnania ukazujú silné výsledky pri niektorých agentových úlohách, no slabšie pri časti programovacích a znalostných testov. Výber modelu má preto vychádzať z konkrétnej práce, nie iba z nízkeho počtu aktívnych parametrov.