Intel GPU D-series stavia na veľkej pamäti. Základná karta má 160 GB, partneri môžu ísť vyššie

Intel na OCP Global Summit predstavil ďalšie podrobnosti o GPU D-series, doteraz označovanom Crescent Island. Ide o akcelerátor pre inferenciu, teda používanie už natrénovaných modelov. Firma uvádza prebiehajúce zákaznícke vzorkovanie; nejde o potvrdenie všeobecnej maloobchodnej dostupnosti.

Dôležitý detail je v poznámke k pamäti: karta pod značkou Intel má 160 GB LPDDR5X, zatiaľ čo návrh umožňuje partnerom pripraviť varianty až do 480 GB. Titulok s maximom bez tohto rozlíšenia by vytváral nesprávne očakávanie o každej karte.

Intel uvádza architektúru Xe3P, priepustnosť pamäte 1,5 TB/s a výkon 1,3 petaflopu FP8 v 350-wattovom rámci. Už augustová prezentácia Hot Chips opisovala 32 jadier Xe, 256 jednotiek XMX a vzduchom chladenú kartu PCIe. Zameranie na veľkú kapacitu má pomôcť dlhým kontextom a súbežným inferenčným úlohám.

Pamäťová kapacita a rýchlosť nie sú zameniteľné. Väčšia pamäť môže udržať viac váh alebo kontextu, ale čas odpovede závisí aj od prenosov a výpočtu. Parameter FP8 zase opisuje určitý číselný formát, nie priamo počet užitočných odpovedí za sekundu.

Pre záujemcu o vlastné modely je vhodné pripraviť porovnanie na rovnakom modeli, dĺžke vstupu a počte súbežných požiadaviek. Zmerať treba čas do prvého tokenu, rýchlosť pokračovania a spotrebu celého servera. Bez rovnakých podmienok sa ľahko porovnajú dve čísla, ktoré opisujú rozdielne úlohy.

Rovnako treba preveriť konkrétny runtime, podporované operácie a presnosť modelu. Väčšia karta nemusí byť výhodná, ak aplikácia nevie jej možnosti využiť. D-series predstavuje ďalšiu možnosť pre pamäťovo náročnú inferenciu, no cenu dokončenej úlohy určí až hardvér spolu so softvérom a reálnym zaťažením. Samotné maximum pamäte ani teoretický výkon tak nestačia na rozhodnutie o nákupe.

Rovnakú pozornosť si zaslúži súbežnosť. Konfigurácia vhodná pre jediného používateľa môže pri viacerých dlhých požiadavkách naraziť na pamäť kontextu alebo na cieľovú odozvu. Pri testovaní preto treba používať očakávané rozdelenie dĺžok vstupu, nie iba jeden krátky prompt. Užitočným výsledkom je počet úspešne obslúžených požiadaviek pri stanovenom limite čakania, doplnený o konfiguráciu servera a použitú verziu softvéru.