Lumma-Fev-v2 sľubuje rozhodovanie bez parsovania textu a v 27B verzii mení attention na bidirekčný

Lumma-Fev-v2 je v zdroji opísaný ako rodina decision modelov, nie generátorov textu. Podstatné je tvrdenie: „You give a model a state and typed questions, and it returns a probability for every option in one forward pass. It never generates text, so there is nothing to parse.“ To odlišuje systém od bežného použitia jazykových modelov, kde aplikácia najprv čaká na vetu a potom sa ju snaží previesť na štruktúrovaný výsledok. Zdroj zároveň dopĺňa, že keďže odpoveďou je distribúcia pravdepodobností, dá sa na nej stavať thresholding, routovanie podľa najpravdepodobnejšej voľby alebo eskalácia nízkej istoty na človeka.

Najvýraznejšia technická zmena sa týka modelu Lumma-Fev-27B-v2. Zdroj uvádza: „In Lumma-Fev-27B-v2, the full-attention layers read the whole prompt in both directions, like an encoder. The Gated DeltaNet (linear-attention) layers stay causal.“ Článok to zdôvodňuje tým, že pri rozhodovacej úlohe sú stav aj otázky prítomné v prompte ešte pred skórovaním odpovede, takže skoršie tokeny nemusia byť slepé voči neskorším. Praktický dôsledok pre používateľa je kompatibilita iba s novšou knižnicou: „Because of this, the checkpoint needs lumma-fev 0.3 or later. Older versions do not apply bidirectional attention and refuse to load it.“

Zdroj tvrdí, že model 27B-v2 trénovali na väčšom datasete než predchodcu: „Lumma-Fev-27B-v2 trains on about 300K samples, up from about 100K for v1.“ Zároveň uvádza, že modely boli trénované pomocou open-source knižnice decisionformer s licenciou Apache 2.0, určenej na fine-tuning, načítanie a serving kalibrovaných decision modelov. To je dôležité najmä ako opis výrobcom použitej tréningovej cesty; zdroj však neposkytuje nezávislé porovnanie, ktoré by izolovalo vplyv architektonickej zmeny oproti väčšiemu množstvu dát.

Benchmarková časť je výrobcom deklarované porovnanie s TypeSafe Jev 1.13.0. Zdroj hovorí: „Both released models score higher than TypeSafe Jev 1.13.0 on average across eight public benchmarks, and both are better calibrated.“ V tabuľke je priemer 82.4 pre Lumma-Fev-4B-v2, 87.3 pre Lumma-Fev-27B-v2 a 81.2 pre Jev. Článok zároveň uvádza, že Jev zostáva silnejší v BBH a JudgeBench, takže nejde o univerzálne víťazstvo vo všetkých úlohách. Keďže ide o vlastné vyhodnotenie autorov, treba tieto čísla čítať ako výrobcom uvádzané výsledky, nie ako nezávisle replikované testy.

Samostatná časť sa venuje kalibrácii, teda tomu, či deklarovaná istota zodpovedá reálnej úspešnosti. Zdroj uvádza: „Both Lumma-Fev-v2 models beat Jev on log loss, ECE and Brier, and Lumma-Fev-27B-v2 is the best calibrated of the three on every metric.“ Pre priemer cez osem benchmarkov potom uvádza log loss 0.401 a 0.307, ECE 0.045 a 0.024 a Brier 0.237 a 0.178 pre 4B-v2 a 27B-v2, oproti 1.315, 0.088 a 0.291 pre Jev. Zároveň však text pridáva dôležité obmedzenie: pred automatickým spúšťaním akcií treba prahy naladiť na vlastných označených dátach.

Rozhranie má zostať kompatibilné s predchádzajúcou verziou: „Every Lumma-Fev-v2 model uses the interface of v1, so nothing changes for existing users.“ Model pracuje so stavom vo forme textu, JSON objektu alebo poľa a s otázkami typu noul a choice; typ score je podľa zdroja „accepted, but untested“. Pri nasadení zdroj uvádza aj limity: 27B-v2 potrebuje asi 55 GB voľnej GPU pamäte, používa BF16 a Safetensors a „a question plus the state must fit in 8,192 tokens“. Menšie modely 0.1B-v2 a 0.6B-v2 sú podľa článku iba pripravované, nie vydané.