AI systémy a vývoj·3 minOdborný rozbor

DiffuSpace uviedol Clover-35B-A3B-Preview a tvrdí vyššiu rýchlosť aj silnejšie výsledky než podobne veľké autoregresívne modely

DiffuSpace oznámil prvú verziu modelovej línie Clover. Podľa firmy ide o 35B MoE difúzny jazykový model s 3B aktivovanými parametrami, otvorený pod licenciou Apache, pričom výrobca pripisuje jeho rýchlosť a výsledky prepracovanej architektúre Bidirectional Gated DeltaNet a uvádza vlastné benchmarky aj nameranú priepustnosť inferencie.

DiffuSpace zverejnil Clover-35B-A3B-Preview ako prvú verziu svojej línie Clover. Firma ho opisuje ako Mixture-of-Experts difúzny jazykový model s 35 miliardami celkových parametrov, 3 miliardami aktivovaných parametrov a podporou „thinking mode“. Pre vývojárov je dôležité aj to, že model má byť dostupný ako open source pod licenciou Apache s váhami a kódom na Hugging Face a GitHube.

Jadro oznámenej novinky nie je len vo veľkosti modelu, ale aj v tom, ako má pracovať s kontextom. DiffuSpace píše, že prepracoval Bidirectional Gated DeltaNet tak, aby starší kontext komprimoval do rekurentného stavu, kým tokeny v aktuálnom bloku spracúva cez jemnozrnú obojsmernú softmax pozornosť. Z pohľadu firmy práve táto kombinácia vysvetľuje, prečo má Clover spájať výkon s rýchlejším generovaním.

Výrobca zároveň uvádza silné čísla, no treba ich čítať ako jeho vlastné merania, nie ako nezávislé overenie. Podľa DiffuSpace model na viacerých benchmarkoch prekonáva podobne veľký autoregresívny Qwen3.6-35B-A3B a na interných agentských úlohách dosahuje 680 tokenov za sekundu na jednej GPU NVIDIA GB300 pri BF16 a batch size 1. Ak by sa tieto tvrdenia potvrdili aj mimo firemného testovania, išlo by o zaujímavý argument v prospech difúznych jazykových modelov tam, kde rozhoduje latencia a rýchla spätná väzba agenta.

Podrobnosti a podklady

Čo bolo oznámené

Zdrojový text je oznámením firmy DiffuSpace o vydaní nového modelu. Autor priamo píše, že ide o „the first version of DiffuSpace Clover“, teda o prvú verziu línie Clover. V rovnakej správe firma model charakterizuje ako MoE difúzny jazykový model s 35 miliardami celkových parametrov a 3 miliardami aktivovaných parametrov. To sú základné fakty, na ktorých stojí celý článok.

Mechanizmus, ktorému firma pripisuje zrýchlenie

Technická časť článku stavia na opise architektúry, ktorý poskytol samotný výrobca. DiffuSpace uvádza, že prepracoval Bidirectional Gated DeltaNet pre block diffusion tak, aby historickú pamäť a odšumovanie v rámci bloku riešil odlišnými výpočtovými mechanizmami. Predtým vygenerovaný kontext sa má komprimovať do rekurentného stavu GDN, zatiaľ čo tokeny v aktuálnom bloku interagujú cez obojsmernú softmax pozornosť. Firma navyše píše, že výstup z historickej pamäte berie ako samostatnú „information unit“, ktorá vstupuje do tej istej softmax operácie ako tokeny v aktuálnom bloku. Presne tomuto návrhu pripisuje kombináciu rýchlosti a výkonu. Ide však stále o výrobcom deklarovaný mechanizmus a jeho interpretáciu prínosu architektúry.

Benchmarky a rýchlosť: čo presne firma tvrdí

Výkonnostné tvrdenia sú v zdroji pomerne konkrétne, no pochádzajú od firmy a pri čítaní si pýtajú opatrné pripísanie. DiffuSpace tvrdí, že Clover-35B-A3B-Preview „outperforms the similarly sized autoregressive model Qwen3.6-35B-A3B, while generating significantly faster“. Pri inferenčnej efektivite zároveň uvádza „680 tokens/s“ na interných agentských workloadoch na jednej GPU NVIDIA GB300 pri BF16 a batch size 1. Text ďalej spomína aj 515 tokenov za sekundu na jednej NVIDIA H200 pri agentských úlohách. Bez nezávislej replikácie sa tieto výsledky nedajú prezentovať ako overený stav trhu, ale ako relevantné firemné tvrdenia sú dôležité pre vývojárov, ktorí sledujú, či difúzne jazykové modely dokážu konkurovať autoregresívnym modelom aj v praktickej inferencii.

Dostupnosť pre vývojárov a hranice toho, čo vieme

Pre praktické nasadenie je podstatné aj to, že DiffuSpace uvádza otvorené sprístupnenie modelu. Zdroj hovorí, že Clover-35B-A3B-Preview je „open source under an Apache license“ a že váhy aj súvisiaci kód sú dostupné na Hugging Face a GitHube, s podporou inferencie pre SGLang a llama.cpp. To zvyšuje význam oznámenia pre vývojársku komunitu, pretože nejde len o ukážku výsledkov, ale aj o model, s ktorým sa dá ďalej experimentovať. Z dodaných podkladov však nevieme nezávisle potvrdiť obsah repozitárov ani právne detaily licencie nad rámec toho, čo uvádza samotná firma.

Zdroje

  1. https://huggingface.co/blog/Diffuspace/clover-35b-a3b-preview ↗