Cosmos 3 vytvára scenáre pre fyzickú AI. Realistický obraz ešte nie je overená fyzika

Zberať tréningové dáta pre roboty je nákladné. Bežnú manipuláciu možno zopakovať mnohokrát, ale zriedkavé chyby, neobvyklé osvetlenie či nebezpečné situácie sa získavajú ťažšie. Modely sveta majú pomáhať vytvárať ďalšie scenáre a odhadovať, ako sa prostredie môže vyvíjať.

NVIDIA v augustovom technickom prehľade opisuje Cosmos 3 ako rodinu spájajúcu vizuálne uvažovanie, generovanie sveta a predikciu akcií. Dostupné varianty Super, Nano a Edge majú rozdielnu veľkosť a účel. Nie je preto presné hovoriť o jednom univerzálnom modeli so zhodnými nárokmi.

Modelová karta Cosmos3-Edge uvádza podmienky a postup použitia menšieho variantu. Ten má podľa NVIDIA štyri miliardy parametrov a je určený aj na zariadenia pri robotovi. Väčšie varianty poskytujú širší výpočtový základ pre tvorbu dát a náročnejšie modelovanie.

Vlastný robot však používa konkrétne kamery, mechaniku a pracovný priestor. Model potrebuje prispôsobenie týmto podmienkam. Otvorené váhy umožňujú doladenie na vlastných dátach, no licenciu a podporované funkcie treba skontrolovať pri konkrétnom vydaní. Všeobecná ukážka z iného prostredia nestačí ako dôkaz funkčnosti vlastnej bunky.

Predstavme si uchopenie súčiastky pri viacerých polohách kamery a zmenenom osvetlení. Model sveta môže vytvoriť doplnkové varianty, zatiaľ čo simulátor umožní kontrolovať geometriu scény. Takto pripravený test môže odhaliť, že robotická politika sa spolieha na farbu pozadia namiesto tvaru predmetu. Je to príklad použitia, nie výsledok konkrétneho nasadenia.

NVIDIA prepája túto oblasť s Omniverse a OpenUSD. OpenUSD slúži na skladanie a výmenu trojrozmerných scén, zatiaľ čo model môže dopĺňať variácie a predpovedať vývoj. Vývojár tak vie opakovane skúšať rovnakú úlohu pri zmenených podmienkach a sledovať, kde správanie prestáva fungovať.

Pri vyhodnotení treba odlíšiť vizuálnu vierohodnosť od správnych kontaktov, síl a časovania. Pôsobivé video nemusí zachovávať vlastnosti potrebné pre bezpečné riadenie stroja. Rozumný postup preto porovnáva syntetické scenáre so skutočnými meraniami a konečný model skúša na zariadení. Cosmos môže rozšíriť tréningový materiál a zjednotiť časť nástrojov, ale nenahrádza technické overenie reálneho robotického systému.