Malý ColGrep-Agent hľadá kód za veľký model. Úspora tokenov má časovú cenu

Keď programovací agent nepozná názvy funkcií v projekte, môže minúť veľa krokov na odhadovanie správnych výrazov. LightOn predstavil ColGrep-Agent ako menšieho pomocníka, ktorý má nájsť relevantné súbory a riadky skôr, než hlavný model začne pripravovať zmenu. Podklady tvorí autorský príspevok LightOn na Hugging Face a modelová karta; nejde o nezávislé hodnotenie platformy Hugging Face.

Model má dve miliardy parametrov a pracuje nad nástrojom ColGrep. Výstupom sú konkrétne miesta v kóde. Úspešná lokalizácia však ešte nie je vyriešená chyba ani otestovaný patch.

ColGrep kombinuje sémantické hľadanie s filtrami podľa ciest a regulárnymi výrazmi. Pomocný agent môže preskúmať nájdený súbor, sledovať odkaz a zopakovať vyhľadávanie. Má obmedzený počet krokov a vracia lokácie, ktoré si hlavný programovací agent ďalej overuje.

Autori ilustrujú problém na otázke o vlastných atribútoch záznamu: projekt ich interne označuje ako polia. Vyhľadávanie podľa významu môže preklenúť rozdiel slovníka bez série slepých pokusov. Index aj inferencia pomocného modelu môžu bežať lokálne, čo oddeľuje vyhľadanie kódu od odosielania kontextu hlavnej službe.

V meraní autorov klesol priemerný počet kôl hlavného agenta z 5,5 na 3,9. Celkový čas otázky však na ich GPU serveri vzrástol z 13 na 21,6 sekundy. Pomocník teda spotrebuje vlastný čas, hoci znižuje množstvo kontextu opakovane spracúvaného veľkým modelom.

Pre vývojový tím je rozhodujúce, či platí viac za tokeny, alebo za čakanie a infraštruktúru. Pilot má používať skutočné otázky z vlastného repozitára a posudzovať správnosť nájdených miest, nie iba nižší účet. Zaujímavé sú najmä úlohy prechádzajúce viacerými priečinkami. Pri presnom známom symbole môže jednoduché textové hľadanie zostať rýchlejšou cestou.

Užitočné je oddeliť dve hodnotenia: či pomocník našiel správny súbor a či následný agent vytvoril správnu úpravu. Vyhľadávač môže zúžiť kontext výborne, ale hlavný model môže stále nesprávne pochopiť logiku programu. Naopak, dlhšia odpoveď vyhľadávača nemusí byť lepšia, ak len pridáva nesúvisiace súbory. Preto má tím pri pilote zaznamenať relevantné lokácie, počet otvorených súborov a konečný výsledok testov.