Rozpočet v LiteLLM potrebuje databázu. Samotná hodnota v konfigurácii nemusí zastaviť výdavky

Keď viac agentov používa spoločný účet poskytovateľa, firma potrebuje odlíšiť spotrebu jednotlivých aplikácií a tímov. LiteLLM ponúka proxy s virtuálnymi kľúčmi a rozpočtovými pravidlami. Dokumentácia načítaná 18. októbra 2026 však výslovne upozorňuje, že opisované rozpočty vychádzajú zo spotreby uloženej v databáze.

Bez pripojenej databázy môže globálna hodnota max_budget zostať bez účinného porovnania so spotrebou a požiadavky pokračujú. Toto upozornenie je dôležitejšie než samotná prítomnosť číselného limitu v YAML. Článok netvrdí, že sme tento stav reprodukovali na bežiacom LiteLLM; vysvetľuje zdokumentovanú hranicu, ktorú má tím zahrnúť do vlastného testu konfigurácie.

Dokumentácia virtuálnych kľúčov opisuje sprostredkovanie prístupu cez proxy. Aplikácia dostáva riadený kľúč, ku ktorému možno pripojiť povolené modely a ďalšie obmedzenia, namiesto rozdelenia hlavného prihlasovacieho údaja medzi všetky komponenty. Evidencia jednotlivých kľúčov umožňuje meniť ich životný cyklus oddelene od samotného poskytovateľa.

Redakčný scenár je oddelený prístup pre zákaznícku podporu a interný vývoj. Každý proces má vlastnú identitu v proxy a tím môže sledovať jeho používanie. Tento návrh nepredstavuje dôkaz úspory ani potvrdenie bezpečnosti konkrétneho nasadenia. Správnosť závisí aj od toho, či aplikácie skutočne používajú proxy a nevolajú poskytovateľa mimo nej.

LiteLLM dokumentuje limity spotreby aj počtu požiadaviek či tokenov za minútu. Tímový kľúč sa pritom riadi tímovými a prípadne členskými rozpočtami; nemožno automaticky predpokladať, že sa naň uplatní každý osobný limit vlastníka. Pred zavedením preto navrhujeme spísať konkrétnu hierarchiu a otestovať odmietnutie požiadavky po prekročení hranice.

Virtuálne kľúče majú samostatné nastavenia a prevádzkový životný cyklus. Pre pilot je užitočné preveriť aj ich zrušenie a to, či konfigurácia povoľuje iba zamýšľané modely. Základ repozitára má MIT licenciu, enterprise adresár používa osobitné podmienky. Proxy môže zjednotiť kontrolu volaní, ale nenahrádza finančný rozpočet celej firmy: lokálne modely, servery a ďalšie služby majú náklady aj mimo účtovania tokenov.

Repozitár https://github.com/BerriAI/litellm bol overený 18. októbra 2026 na commite 9c958aff3496. GitHub uvádzal vydanie v1.106.0 z 2026-10-18. Opisovaný mechanizmus nie je tvrdením, že vznikol až v tomto vydaní.