Langfuse spája stopy agenta s hodnotením. Vlastný hosting zahŕňa viac než jednu databázu

Agent môže úspešne dokončiť všetky API volania a napriek tomu pripraviť slabý výstup. Langfuse v dokumentácii hodnotenia prepája živé záznamy behov s datasetmi a experimentmi. Zaujímavý alebo chybný prípad sa tak môže stať opakovateľným vstupom pri zmene promptu, modelu alebo aplikačného kódu.

Dokumentácia rozlišuje online hodnotenie prevádzkových stôp a offline skúšky nad pripravenými dátami. Pre malý tím to dáva konkrétny pracovný postup: zo skutočnej chyby vznikne test, ktorý sa má preveriť pred ďalším nasadením. Ide o rozbor dostupného systému podľa podkladov načítaných 18. októbra 2026, nie o naše meranie účinnosti hodnotiteľov alebo dnešné oznámenie vydania.

Langfuse počíta s manuálnym aj automatizovaným hodnotením a porovnávaním experimentov. V dokumentácii je tiež popísané zapojenie experimentu do CI, kde prekročenie stanoveného prahu môže zlyhať ako kontrola pull requestu. Prínos je v opakovateľnosti podmienok, nie v samotnom čísle zobrazenom v dashboarde.

Ako redakčný príklad navrhujeme dataset odpovedí zákazníckej podpory: časť kontroluje použitie správneho dokumentu, časť to, či sa odpoveď neopiera o neexistujúci údaj. Takéto kritériá treba stanoviť vopred. Automatický hodnotiteľ nie je nezávislý dôkaz pravdivosti a v našom pilote nebol spustený. Tím tak môže oddeliť technické zlyhanie volania od obsahovej chyby výsledku.

Dokumentácia self-hostingu opisuje webovú aplikáciu a worker spolu s PostgreSQL, ClickHouse, Redis alebo Valkey a objektovým úložiskom. Udalosti najprv smerujú do objektového úložiska, následne ich spracuje worker. To vysvetľuje, prečo vlastné nasadenie nie je iba spustenie dashboardu nad existujúcou firemnou databázou.

Docker Compose je v dokumentácii určený na lokálne použitie a skúšanie; sám nepridáva vysokú dostupnosť ani zálohy. Pre malý tím preto odporúčame porovnať prevádzkové povinnosti s tým, koľko behov naozaj potrebuje sledovať. Základná licencia repozitára je MIT s výnimkami pre označené enterprise časti. Vlastný server tak neznamená nulové celkové náklady ani automaticky všetky platené funkcie. Rozhodujú aj uchovávanie stôp, objem dát a prípadné volania modelových hodnotiteľov.

Repozitár https://github.com/langfuse/langfuse bol overený 18. októbra 2026 na commite 564f800fb530. GitHub uvádzal vydanie v4.63.0 z 2026-10-16. Opisovaný mechanizmus nie je tvrdením, že vznikol až v tomto vydaní.