Benchmark AutoBench tvrdí, že testované LLM routery často neprekonajú ani jednoduchú statickú voľbu modelu

Základ mechanizmu ARB je oddelenie routingu od samotného generovania odpovede. Zdroj uvádza: „A router only names a model. We read that model’s stored score and cost, so a router cannot improve its result by writing a better answer.“ To znamená, že benchmark nehodnotí kvalitu textu vytvoreného routerom, ale čisto kvalitu jeho rozhodnutia o tom, ktorý model by mal odpovedať. V článku sa ďalej píše, že 20 modelov odpovedalo na 252 dlhých otvorených promptov a odpovede hodnotil panel desiatich LLM sudcov. Tento dizajn má znížiť vplyv náhody pri generovaní a umožniť lacnejšie dopĺňať nové routery, pretože ich výsledok je už iba lookup nad existujúcou maticou skóre a ceny.

Kľúčové tvrdenie autorov je, že testované routery nezachytili sľubovaný priestor, kde by boli lepšie než náhodný výber aj lacnejšie než priemer, a zároveň by prekonali silnú statickú politiku. Zdroj to formuluje priamo: „None of the routers occupy the prize region in Figure 1. None beat the quality of the top model (GPT-5.6 Sol) in the pool, let alone at a lower price. None beat Always-Luna on quality and cost together.“ Keďže ide o tvrdenie z jedného komunitného článku benchmarku, je vhodné ho čítať ako výsledok autorov benchmarku, nie ako nezávisle potvrdený konsenzus trhu. Prakticky však znamená, že jednoduchá statická voľba stredne drahého modelu môže byť v tomto teste silnejšia baseline než platený router.

Výrazný motív článku je kolaps routerov na takmer konštantné správanie. Zdroj uvádza: „Five of the 17 settings send at least 90% of prompts to one model, so their quality score is just that model’s score. On Orca and on OpenRouter Auto, the knob changes which constant that is.“ Ak je tento opis presný, potom časť údajných cost-quality nastavení v skutočnosti neriadi jemné rozhodovanie po jednotlivých promptoch, ale skôr prepína medzi vopred dominujúcimi modelmi. To je dôležité aj metodicky: vysoké skóre routera ešte samo osebe nemusí znamenať dobrý routing, ale môže iba odrážať výkon jedného modelu, na ktorý sa systém takmer vždy zrúti.

Zdroj z toho odvodzuje aj odporúčanie pre nákup alebo nasadenie. Doslova píše: „If the router cannot beat always calling the best mid-priced model in the pool, on your prompts, it is a knob in front of a constant.“ Toto je interpretačné pravidlo, nie priamo nameraná univerzálna veta pre všetky nasadenia. Je však rozumné ako kontrolná otázka: porovnávať router nie s ideálnou predstavou, ale s jednoduchou statickou politikou na rovnakých úlohách. V tom istom texte autori naznačujú aj ďalší plán vývoja benchmarku: „The next increment of scientific value is therefore a larger corpus — with paraphrase sets built in, and with room for per-domain and agentic slices — not a longer roster of vendors on the same 252 questions.“ To posúva dôraz od pridávania ďalších značiek k rozšíreniu samotnej testovacej sady.