ML Intern ukazuje, čo má agent odovzdať po tréningu: model aj poctivé porovnanie

Autor sprievodcu Hugging Face opisuje sériu menších projektov vytvorených pomocou ML Intern. Agent pripravuje postup, spúšťa tréning, vyhodnocuje model a ukladá výsledky. Článok je osobnou technickou skúsenosťou s konkrétnymi úlohami, nie zárukou rovnakých nákladov alebo úspešnosti pre každý dataset.

Dôležitá je forma zadania: presný základný model, zdroj dát, očakávaný výstup a finančný strop. Autor verejne sprístupnil pôvodné prompty v repozitári. Záujemca preto môže porovnať, čo agent dostal za úlohu a podľa čoho sa malo rozhodnúť, či ju splnil.

Pri klasifikácii poškodených citrusových listov sa najprv merala úspešnosť neupraveného modelu. Až potom nasledovalo doladenie a rovnaké vyhodnotenie na odložených testovacích snímkach. Takýto postup odlišuje skutočné zlepšenie od situácie, keď tréning iba úspešne skončil a vytvoril súbor váh.

Pri obrazových adaptéroch autor požadoval krátky skúšobný beh a kontrolu, že sa uložené váhy naozaj zmenili. Verejné prompty opisujú aj požadované priebežné checkpointy a rovnaké testovacie zadania. Vývojár tak môže zachytiť chybnú konfiguráciu skôr, než zaplatí celý výpočet.

Priebežné checkpointy navyše ukážu, kedy sa model začína príliš prispôsobovať tréningovým príkladom. Posledná uložená verzia nemusí byť najlepšia. Rovnaké skúšobné zadania pri každom checkpointe umožňujú vybrať okamih, keď už model ovláda požadovanú vlastnosť, ale ešte ju nevnáša aj do úloh, v ktorých ju používateľ vôbec nechcel.

ML Intern podľa sprievodcu začína s nulovým rozpočtom na platené úlohy a vyžiada si jeho pridelenie. Cena uvedená pri konkrétnom experimente je náklad daného behu, nie všeobecný cenník vytvorenia hotovej aplikácie. Zvlášť treba počítať prípravu dát, kontrolu kvality a následnú prevádzku.

Prenositeľná lekcia spočíva v spôsobe riadenia práce. Agent má odovzdať presnú konfiguráciu, výsledky oproti základnej verzii, obmedzenia a modelovú kartu. Pri opakovaní experimentu treba zachovať oddelené testovacie dáta a rovnakú metriku. Takto sa dá posúdiť, či automatizácia šetrí čas vývojára a prináša použiteľný model, namiesto toho, aby iba rýchlejšie vykonala drahý tréning bez jasného účelu.