Google počas uplynulého roka predstavil štyri nové čipy TPU, najnovšie dvojicu TPU 8tx a TPU 8i Max, a stavia ich čoraz viac ako konkurenciu ku grafickým kartám Nvidie. Podľa spoločnosti ide o prvý prípad, keď Google v priebehu jedného roka vypustil štyri odlišné systémy TPU. Krok je dôležitý, pretože ukazuje, že veľké cloudové firmy sa snažia znížiť závislosť od Nvidie a svoj vlastný hardvér ponúkajú čoraz viac aj externým klientom, nielen pre vlastné potreby.
V skratke
- Google rozšíril ôsmu generáciu čipov TPU o dva nové systémy, TPU 8tx a TPU 8i Max
- Spolu so staršími TPU 8t a TPU 8i ide o štyri varianty vydané v priebehu jedného roka, čo je podľa Googlu prvýkrát
- TPU 8i Max spája dva čipy TPU 8i do jedného balenia a prináša dvojnásobný výkon, pamäť aj šírku pásma v rovnakom priestore v stojane
- Google má podľa portálu The Decoder už takmer sto externých klientov na čipoch TPU a zároveň uvoľnil nástroj TorchTPU ako open source
TPU 8tx chráni dáta aj počas spracovania
Prvým z dvojice nových čipov je TPU 8tx, určený firmám a vládnym inštitúciám, ktoré pracujú s citlivými dátami. Google ho postavil na kombinácii vlastného čipu TPU 8t a procesorov AMD EPYC piatej generácie a pridal takzvané dôverné spracovanie priamo do hardvéru. Bežne sa dáta šifrujú počas uloženia a prenosu, ale v momente, keď s nimi pracuje procesor, musia sa dešifrovať v pamäti. TPU 8tx má túto medzeru uzavrieť, takže dáta aj váhy modelu zostávajú chránené a izolované aj počas aktívneho používania.
Čip využíva aj Googlovu nízkolatenčnú sieť Boardfly, vyvinutú pôvodne pre inferenciu v reálnom čase, a oproti staršiemu TPU 8t má podľa Googlu dosiahnuť až dvojnásobné zníženie latencie. Firmy tak môžu na jedinom systéme dolaďovať modely, zmenšovať veľké modely na menšie alebo trénovať AI agentov pomocou spevňujúceho učenia, bez toho, aby citlivé dáta musely presúvať medzi rôznymi clustrami.
TPU 8i Max rieši problém s pamäťou pri dlhom texte
Druhý nový systém, TPU 8i Max, cieli na iný problém, nedostatok pamäte. Keď AI agenti pracujú naraz s rozsiahlymi súbormi kódu alebo s hodinami videa, hlavným obmedzením sa stáva práve šírka pásma pamäte. Google to riešil tak, že na jedno balenie umiestnil dva čipy TPU 8i naraz. Výsledkom je dvojnásobný výpočtový výkon, dvojnásobná pamäť aj dvojnásobná šírka pásma pamäte v rovnakom formáte stojana, čo v praxi znamená výrazne viac výkonu na meter štvorcový v dátovom centre.
Ako funguje čip TPU
TPU, teda Tensor Processing Unit, je čip postavený výlučne na výpočty, ktoré používajú AI modely, predovšetkým násobenie matíc. Na rozdiel od grafických kariet Nvidie, ktoré sú univerzálnejšie a vedia okrem AI zvládať aj grafiku či iné výpočty, je TPU úzko špecializovaný nástroj. Taká špecializácia znižuje náklady na jeden výpočet pri konkrétnych AI úlohách, ale obmedzuje flexibilitu, čip sa nehodí na všetko. Je to podobné ako rozdiel medzi univerzálnym elektrickým náradím a nástrojom vyrobeným presne na jednu opakovanú prácu.
Aby TPU čipy neboli viazané len na vývojárov zvyknutých na Googlov ekosystém, firma uvoľnila nástroj TorchTPU ako open source. Kód napísaný pre populárny framework PyTorch by tak mal na TPU bežať s minimálnymi úpravami. Podporu majú aj rozšírené nástroje na inferenciu vLLM a SGLang, čo znižuje bariéru pre firmy, ktoré doteraz pri AI výpočtoch automaticky siahali po Nvidii a jej softvérovej vrstve CUDA.
Prečo Google tlačí na vlastné čipy práve teraz
Za krokom stojí širší trend na trhu s AI hardvérom. Ako sa AI aplikácie rozširujú medzi bežných používateľov, dôraz sa presúva od drahého trénovania nových modelov k dennej inferencii, teda k samotnému behu modelov pri odpovedi na otázky používateľov. Pri tomto druhu úlohy môžu špecializované čipy ako TPU ukázať svoje silné stránky. Z podobného dôvodu si vlastné čipy vyvíjajú aj Amazon, Microsoft a dokonca OpenAI. Nvidia na tlak reagovala vlastným spôsobom, cez akvizíciu tímu a licenčnú dohodu s firmou Groq posilnila svoju ponuku práve v oblasti inferencie.
Nvidia si navyše v posledných týždňoch musela riešiť aj iné starosti. Firma nedávno nariadila cloudovým partnerom obmedziť biznis s Čínou, čo spolu s konkurenciou od vlastných čipov veľkých cloudových hráčov naznačuje, že pozícia firmy na trhu s AI hardvérom už nie je taká nespochybniteľná ako pred rokom.
Čo to znamená pre firmy
Pre firmy, ktoré si AI výpočty kupujú ako službu v cloude, väčšia konkurencia medzi dodávateľmi čipov v konečnom dôsledku znamená viac možností, kde a za akú cenu nechať AI modely bežať. Google súčasne investuje aj do fyzickej infrastruktúry, ktorá tieto čipy pohltí, len minulý týždeň si napríklad prenajal dátové centrum vo Wyomingu od firmy Crusoe. Prechod medzi ekosystémami má však svoje náklady, zmena dodávateľa čipov zvyčajne znamená aj úpravu softvéru. Nástroje ako otvorený TorchTPU majú práve túto bariéru znižovať, takže firmy pri výbere dodávateľa výpočtového výkonu môžu čoraz viac sledovať skutočnú cenu za jednu odpoveď modelu, nie len cenu samotného čipu.
Čo sledovať ďalej
V nasledujúcich mesiacoch bude zaujímavé sledovať, či sa počet externých klientov na TPU čipoch, dnes blížiaci sa k stovke, bude ďalej zvyšovať, a ako na rozširujúcu sa ponuku Googlu zareaguje Nvidia pri dokončovaní dohody s Groq. Rovnako stojí za pozornosť, či podobné špecializované varianty čipov v krátkom čase predstavia aj Amazon či Microsoft, ktorí na vlastnom hardvéri pracujú s podobným cieľom ako Google.
