ExecuTorch prináša modely PyTorch priamo na mikrokontroléry Cortex-M

Tím PyTorch 15. októbra predstavil backend ExecuTorch pre procesory Arm Cortex-M. Model natrénovaný v PyTorch možno exportovať, kvantizovať a pripraviť pre mikrokontrolér v nadväzujúcom softvérovom postupe. Vývojár tak nemusí prechádzať do iného ekosystému len preto, aby model dostal na malé zariadenie.

Cieľom sú senzory, hlasové rozhrania či jednoduché kamery s obmedzenou pamäťou. Podpora sa týka viacerých tried Cortex-M, od skalárnych jadier po modely s vektorovým rozšírením Helium. Rovnaký postup však neznamená rovnakú rýchlosť na každom čipe.

Backend nahrádza vhodné operácie optimalizovanými funkciami knižnice CMSIS-NN. Cieľové jadro a jeho inštrukcie sa vyberajú pri zostavení. Kvantizácia INT8 znižuje nároky a optimalizácie dopredu pripravia rozloženie váh či pamäte. Zariadenie potom nevykonáva prácu, ktorú bolo možné urobiť už pri exporte.

Autori uvádzajú jadro runtime pod 20 KiB flash, ale nejde o veľkosť kompletnej aplikácie. Tá zahŕňa váhy, použité operátory, ovládače a ďalšie komponenty. Výber iba potrebných operácií pomáha udržať binárny súbor malý, no konečný rozpočet sa musí overiť na konkrétnom modeli.

V ukážke na doske Renesas EK-RA8D1 s Cortex-M85 zaberá INT8 model µYOLO približne 452 KiB, celá aplikácia okolo 640 KiB flash a špičková RAM približne 254 KiB. Samotná inferencia dosahuje 24 ms pri 480 MHz, zatiaľ čo kompletný kamerový postup beží približne na 12,7 snímky za sekundu.

Rozdiel tvoria aj presuny a spracovanie obrazových dát. Autori navyše ukazujú výrazný vplyv umiestnenia pamäte a cache. Pre integrátora je preto dôležitejší celý priechod od snímača po rozhodnutie než izolované číslo neurónovej siete. Dokumentácia a vzorový projekt umožňujú postup zopakovať, ale fyzická doska, periférie a pamäťová mapa ostávajú súčasťou vlastnej integračnej práce.

Pre zariadenie v teréne je dôležitá aj stabilita dlhého behu. Jednorazové meranie nemusí odhaliť súbeh kamery, komunikácie a ďalších úloh firmvéru. Vývojár preto potrebuje sledovať pamäťový vrchol v celej aplikácii a overiť správanie pri chybnom alebo chýbajúcom vstupe. Výhodou spoločného exportného postupu je ľahšie porovnanie modelu pred nasadením a po ňom; konečná integrácia však stále patrí do vývoja konkrétneho zariadenia.