Google opisuje federované učenie s TEE: auditovateľnejšie súkromie a presun tréningu na server

Základná zmena oproti starším prístupom je dvojitá: auditovateľnosť a presun výpočtu. Primárny zdroj to sumarizuje vetou, že ide o „new Federated Learning system“ poskytujúci „externally verifiable privacy guarantees“ a zároveň presúvajúci výpočet „to the server to improve training speed, accuracy, and device coverage“. Súčasne vysvetľuje, prečo je to posun oproti starším FL systémom: pri skoršom nahrávaní dát na okamžitú agregáciu „there was no way for external observers to verify that the data was never logged or inspected“. Nový systém má podľa Google znižovať potrebu veriť operátorovi servera tým, že súkromiu relevantná logika beží vo verifikovateľných TEE.

Tok dát a autorizácie je v zdroji rozdelený do viacerých krokov. Klientské zariadenia „locally encrypt training examples and upload them“ a zároveň „pre-authorize an access policy“, ktorá určuje, ktoré TEE výpočty smú dáta spracovať. Táto politika má podľa textu povoľovať len workloady, ktoré uvoľnia anonymizované výsledky. Kľúčovým sprostredkovateľom je Key Management System: „The Key Management System (KMS), which consists of a cluster of TEEs implementing the RAFT consensus protocol, only gives decryption keys to server-side TEE workloads that match the computations in the access policy.“ Samotný dátový processing TEE potom spúšťa Python tréningový program, deleguje paralelizovateľné úlohy na worker TEE a po kolách tréningu ukladá KMS-šifrovaný recovery stav na obnovu po výpadku bez ďalšieho úniku súkromne citlivých informácií.

Auditovateľnosť stojí na dvoch explicitne uvedených pilieroch. Po prvé, „The access policies representing these potential future server workloads are published to Rekor, a public transparency log“, takže externí audítori môžu sledovať, ktoré workloady zariadenia môžu potenciálne obsluhovať. Po druhé, „The KMS and data processing binaries used in our FL system can be reproducibly built from open source code published in the Confidential Federated Compute Github repository.“ Zdroj tiež uvádza model dynamického sideloadingu: prístupové politiky priamo opisujú Python program s FL logikou, no niektoré serializované informácie možno do programu nahrávať za behu, aby sa chránili proprietárne architektúry a preprocessing. Hranica platnosti je dôležitá: Google výslovne dodáva, že silné externe overiteľné záruky ostávajú zachované „As long as all privacy-relevant logic remains hardcoded in the Python program“, a text zároveň pripomína obmedzenia súčasnej generácie TEE a riziko side-channel pozorovaní.

Pri prevádzkových dopadoch treba rozlišovať medzi doloženým mechanizmom a tvrdeniami autora zdroja o prínose. Google píše, že v novom systéme „only metrics and differentially private model weights are visible to workload operators“ a že šifrované tréningové dáta možno dešifrovať len v TEE workloadoch definovaných politikou a iba obmedzený čas po nahraní. Firma zároveň opisuje, že zber uploadov pred spustením server-side tréningu zmierňuje problém „diurnal variations in device availability impacting training progress“. V časti o Gboard zdroj tvrdí, že systém bol nasadený pre anglické a japonské next-word prediction modely so „stronger privacy guarantees and improved accuracy“. A v časti o rýchlosti dodáva, že skorší tréning mohol trvať „1-2 months each“, kým nový prístup presúva úzke hrdlá na server a vďaka paralelizácii prináša „significant speedups in training time“. Dodané podklady však neobsahujú nezávislé benchmarky, audit ani reprodukciu týchto výsledkov, preto tieto body treba interpretovať ako tvrdenia Google Research.

Zdroj naznačuje aj ďalší smer vývoja. Google píše, že presun výpočtu klientskych gradientov na server „paves the way for training increasingly larger models using FL techniques“ a že dôležitú rolu môžu mať TEE integrované s akcelerátormi. Zároveň uvádza, že infraštruktúra vie verifikovateľne vykonávať aj iné workloady vyjadriteľné v Pythone a že firma experimentuje napríklad so syntetickým generovaním dát či s kombináciou TEE pre arbitrary Python a TEE špecializovaných na funkcie ako LLM inferencia. To sú však v dodanom zdroji plány a experimentálne smery, nie už doložené produkčné výsledky.