LeRobot prepája zber pohybov človeka s učením robotov NVIDIA

NVIDIA a Hugging Face v júli oznámili integráciu modelu Isaac GR00T 1.7 a nástroja Isaac Teleop do ekosystému LeRobot. LeRobot poskytuje otvorenú knižnicu pre robotické modely, dáta a tréningové postupy. Spojenie má obmedziť množstvo vlastných prevodníkov medzi zberom demonštrácií a učením správania.

Pri robotike totiž nestačí uložiť video človeka. Potrebné sú časovo zladené pozorovania, stavy zariadenia a vykonané akcie. Ak každý nástroj očakáva iný formát, veľká časť práce končí pri príprave dát namiesto zlepšovania samotnej úlohy.

Isaac Teleop slúži na zaznamenávanie ľudských demonštrácií prostredníctvom externých ovládacích zariadení. GR00T je model typu vision-language-action, ktorý spája obraz, slovné zadanie a činnosť robota. LeRobot vytvára spoločné miesto pre ukladanie datasetov, doladenie modelov a vyhodnocovanie výsledkov.

Poznámky k vydaniu LeRobot 0.6 opisujú rozšírenia knižnice a integrácií. Pre tím je podstatné overiť presnú verziu, podporovanú robotickú platformu a formát senzorov. Dostupnosť všeobecného modelu sama osebe neznamená, že rovnaké váhy budú bez úprav ovládať inú mechaniku či uchopovač.

Pri demonštrácii je dôležité aj časovanie. Obraz z kamery musí zodpovedať stavu robota a akcii v tom istom okamihu. Posunutý záznam môže model naučiť nesprávnu súvislosť medzi situáciou a pohybom. Zjednotené dátové postupy preto riešia viac než pohodlné ukladanie súborov: pomáhajú udržať význam jednotlivých tréningových príkladov.

Ekosystém zahŕňa aj Isaac Sim, Isaac Lab a prostredia pre tréning politík. Tím môže meniť polohu predmetov a podmienky bez opakovaného ručného prestavovania bunky. V júlovom oznámení bola integrácia Cosmos 3 do LeRobot ešte plánovaná; tento bod nemožno zamieňať s už dostupnými Teleop a GR00T.

Praktický projekt môže začať jedným úchopom alebo presunom predmetu. Zbiera demonštrácie, odloží časť situácií na test a sleduje úspešnosť pri odlišnom osvetlení či polohe. Dôležitá je aj reakcia na neúspešný úchop a bezpečné zastavenie. Hodnotou spoločného otvoreného postupu je ľahšie opakovanie experimentov, nie automatické odstránenie rozdielov medzi simuláciou a výrobnou halou.