Apertus 1.5 číta obraz aj zvuk. Švajčiarsky model zverejňuje aj cestu k svojim váham

Tím Swiss AI predstavil Apertus 1.5 ako pokračovanie otvorenej modelovej rodiny. K textu pribudli obrázky a zvuk, pričom odpoveďou zostáva text. Model tak môže dostať otázku k dokumentu, diagramu alebo fotografii. Spracovanie hovoreného slova autori označujú za experimentálne; nemožno mu automaticky pripísať spoľahlivosť hotovej prepisovacej služby.

Vydanie ponúka modely označené 8B a 70B. Rozdiel ich veľkosti ovplyvňuje nároky na prevádzku aj dosiahnuteľnú kvalitu. Zverejnené váhy dopĺňajú údaje o tréningu a medzivýsledky, čo umožňuje skúmať nielen konečnú odpoveď, ale aj spôsob vzniku systému.

Apertus používa skoré spojenie modalít. Obrázok alebo zvuk najprv prevedie na diskrétne tokeny a tie vloží do postupnosti spolu s textom. Autori uvádzajú, že obrázok s rozmermi 512 × 512 bodov zaberie 1 024 tokenov, zvuk približne 40 tokenov za sekundu. To pomáha vysvetliť, prečo pri práci s médiami nestačí sledovať počet napísaných slov.

Kontext sa zväčšil na 262 144 tokenov. Modelová karta zároveň opisuje spôsob načítania, podporované vstupy a režim uvažovania. Dlhšie okno umožňuje vložiť viac podkladov, no samotná kapacita ešte nezaručuje, že model správne spojí informácie zo vzdialených častí dokumentu.

Rozdiel vidno pri kombinovanej otázke: text môže určiť, čo sa má na obrázku hľadať, a obrázok poskytne chýbajúci vizuálny detail. Aplikácia pritom musí uchovať pôvodný dokument. Ak sa odpoveď neskôr ukáže ako chybná, odkaz na konkrétnu stránku umožní človeku skontrolovať, či problém vznikol pri čítaní obrazu alebo pri interpretácii zadania.

Pre vývojára je zaujímavá možnosť porovnať základný model s ďalšími tréningovými fázami a prispôsobiť ho vlastným úlohám. Dostupnosť dát a postupov uľahčuje hľadanie príčin chýb. Neznamená však, že každý výsledok bude nezávisle reprodukovateľný na malom počítači alebo bez významných výpočtových nákladov.

Vhodným pilotom môže byť čítanie technických výkresov spolu s opisom súčiastky. Hodnotiť treba presnosť údajov, rozpoznanie nečitateľných miest a spotrebu pamäte pri dlhšom vstupe. Autori sami odlišujú pokrok oproti predošlej verzii od porovnania s najvýkonnejšími otvorenými modelmi. Výhodou Apertusu je predovšetkým transparentný vývojový základ, na ktorom možno takéto porovnanie vykonať.