Téma

MoE

2 publikovaných článkov s dohľadateľnými zdrojmi a revíziami.

AI systémy a vývoj

DiffuSpace uviedol Clover-35B-A3B-Preview a tvrdí vyššiu rýchlosť aj silnejšie výsledky než podobne veľké autoregresívne modely

DiffuSpace oznámil prvú verziu modelovej línie Clover. Podľa firmy ide o 35B MoE difúzny jazykový model s 3B aktivovanými parametrami, otvorený pod licenciou Apache, pričom výrobca pripisuje jeho rýchlosť a výsledky prepracovanej architektúre Bidirectional Gated DeltaNet a uvádza vlastné benchmarky aj nameranú priepustnosť inferencie.

#difúzne jazykové modely #open source

30. októbra 2026Odborný rozbor·3 min

AI systémy a vývoj

Transformers v5.22.0 prináša FP8 tréning adaptérov a nižšiu pamäťovú špičku pri MoE

V poznámkach k vydaniu Transformers v5.22.0 Hugging Face uvádza, že FP8 kvantizované modely sa dajú použiť na tréning adaptérov, napríklad LoRA cez PEFT. Zmena stojí na doplnení spätného priechodu pre dense aj grouped FP8 matmul operácie a na tom, že `is_trainable` je teraz `True`. Dokument zároveň tvrdí, že chunked dequantization expertov v backward a vynechanie autograd pri inferencii znižujú špičkovú pamäť v MoE vrstve backward z približne 28,9 GiB na 2,8 GiB pri 8k tokenoch.

#Hugging Face #Transformers

30. októbra 2026Odborný rozbor·3 min