ThinkingBox kontroluje, čo agent naozaj zmenil v databáze

ThinkingBox skúma agentov na pracovných postupoch, ktoré menia stav systému. V ilustračnom prípade agent správne načíta objednávku aj pravidlá, no otvorený problém nakoniec označí za vyriešený. Používateľ dostane presvedčivú odpoveď, zatiaľ čo v databáze zostane nesprávny stav.

Benchmark zahŕňa 507 úloh z viacerých podnikových oblastí. Každá sa opakuje dvadsaťkrát z rovnakého čistého východiskového prostredia. Zmyslom nie je iba zistiť, či model úlohu niekedy zvládne, ale aj to, ako spoľahlivo ju zvláda opakovane.

Oficiálny repozitár obsahuje prostredia a postup spustenia. Vyhodnotenie pracuje s vykonateľnými kontrolami požadovaných záznamov: správnymi hodnotami, chýbajúcimi zmenami aj nežiaducimi zásahmi. Čisté ukončenie nástroja teda samo osebe nestačí. Nástroj mohol úspešne vykonať nesprávny príkaz.

Autori oddeľujú priemernú úspešnosť pokusu, vyriešenie aspoň raz z dvadsiatich a skutočne pozorovaný výsledok dvadsať z dvadsiatich. Tieto ukazovatele odpovedajú na rôzne otázky. Model s veľkým záberom schopností nemusí byť najspoľahlivejší pri opakovaní tej istej úlohy.

Rovnaký princíp sa dá použiť aj bez veľkého benchmarku. Pri zmene adresy zákazníka má test overiť nový údaj, identitu upraveného účtu aj to, že ostatné účty zostali nezmenené. Odpoveď „hotovo“ je iba hlásenie agenta. Dôkazom dokončenia je až stav systému a splnenie všetkých požadovaných podmienok po skončení úlohy.

Pre vývojára zákazníckej podpory či interného asistenta je podstatná kontrola účinku. Test môže overiť stav tiketu, správneho zákazníka, nevytvorenie duplicity a zachovanie nesúvisiacich údajov. Nestačí hodnotiť, či text odpovede obsahuje očakávané slová alebo či sa objavil požadovaný názov nástroja.

Praktické zavedenie začína malým súborom reprezentatívnych prípadov a izolovanými testovacími dátami. Každý beh sa musí začínať rovnakým stavom, inak výsledky ovplyvnia predošlé zásahy. ThinkingBox poskytuje otvorený základ pre takúto prácu, no jeho skóre nie je automatickou predpoveďou úspešnosti v inom podnikovom systéme. Najhodnotnejšia je metóda: merať zmenu, ktorú agent zanechal, a kontrolovať ju opakovane.