Síť v srdci AI továren: proč NVIDIA Spectrum-X Ethernet mění pravidla hry

Datová centra pro umělou inteligenci dnes vypadají úplně jinak než infrastruktura, na kterou byl obor zvyklý ještě před pár lety. Nestačí už jen přidat více serverů, rychlejší porty a pár optických modulů navíc. S nástupem masivního trénování modelů, distribuované inference a stále větších AI clusterů se síť proměnila z podpůrné vrstvy na rozhodující součást výkonu.

Právě to je hlavní poselství současné debaty kolem AI továren. Pokud má tisíce až stovky tisíc akcelerátorů fungovat jako jeden celek, síť nesmí být jen rychlá. Musí být předvídatelná, odolná, energeticky efektivní a navržená přímo pro distribuované výpočty. A to je přesně prostor, ve kterém NVIDIA prosazuje Spectrum-X Ethernet jako klíčovou součást moderních AI infrastruktur.

Z rozhovoru Alana Weckela z 650 Group a Gilada Shinera, šéfa networkingu v NVIDII, vychází poměrně jasný obrázek. AI továrna není jeden typ sítě. Je to sada několika specializovaných síťových vrstev, které spolu musí fungovat jako jediný výpočetní stroj. Vedle klasického scale-outu se řeší scale-up, scale-across, kontextová paměť pro inferenci i bezpečný víceuživatelský přístup. Každá z těchto vrstev má jiné nároky, ale všechny spojuje jedno: běžný ethernet navržený pro tradiční cloud už nestačí.

Obsah

• 🧠 AI továrny potřebují víc než jednu síť
• 🔗 Scale-up: když se z více GPU stane jedna jednotka
• 🌐 Scale-out: proč běžný Ethernet pro AI nestačí
• ⚙️ Co přesně Spectrum-X řeší
• 📈 Reálné výsledky: 95 procent efektivní propustnosti a nulové kolize
• 🚦 Congestion control a adaptive routing jako základ AI sítě
• 🔭 Scale-across: propojení více AI továren do giga-scale prostředí
• 💾 Nová síťová vrstva pro context memory storage
• ⚡ 800G, rychlejší cadence a tlak na výzkum
• 🔌 Co-packaged optics: milník, o kterém se mluvilo roky
• 🌡️ Proč CPO snižuje spotřebu skoro pětinásobně
• 🏭 CPO míří do produkce a to je klíčová změna
• 🏢 Tradiční datová centra versus AI továrny
• 🤖 Proč na kvalitě sítě záleží i u inference, agentů a mixture of experts
• 📊 Co si z toho odnést

🧠 AI továrny potřebují víc než jednu síť

Na tradiční datová centra se dlouho dalo dívat poměrně jednoduše. Typicky existovala jedna hlavní síť pro propojení serverů a případně druhá vrstva pro propojení lokalit nebo datových center. U AI továren tenhle model přestal fungovat.

Gilad Shainer popisuje, že pro stavbu AI továrny jsou potřeba hned několik odlišných síťových infrastruktur. Každá slouží jinému účelu a každá musí řešit jiný typ provozu. To je zásadní změna myšlení. Už nejde o univerzální síť, která se snaží dělat všechno, ale o architekturu, v níž jednotlivé části spolupracují jako jeden celek.

Mezi klíčové vrstvy patří:

• Scale-up síť pro propojení GPU do jednoho logického výpočetního celku
• Scale-out síť pro spojení většího počtu těchto GPU jednotek do rozsáhlé AI továrny
• Scale-across síť pro propojení více AI továren do ještě větších celků
• Infrastruktura pro context memory storage určená hlavně pro inferenci a práci s KV cache

K tomu se přidává ještě bezpečný přístup pro více tenantů, kde svou roli hrají DPUs BlueField. Najednou tedy nemluvíme o jednom přepínači a několika uplincích, ale o systému několika sítí, které musejí dohromady vytvářet jednotné výpočetní prostředí.

To je i důvod, proč NVIDIA mluví o AI továrně jako o jediném výpočetním stroji. GPU, CPU, DPU, switche, SuperNICy i úložiště nemají fungovat odděleně. Mají se chovat jako jedna koordinovaná platforma.

🔗 Scale-up: když se z více GPU stane jedna jednotka

První z těchto vrstev je scale-up. Je to infrastruktura, která vznikla přímo kvůli AI a jejím cílem je propojit více GPU čipů tak, aby se z nich stal jeden výpočetní celek. Tady přichází na scénu NVLink.

Smysl scale-upu je jednoduchý, i když jeho technická realizace rozhodně jednoduchá není. Některé AI úlohy potřebují, aby si akcelerátory vyměňovaly obrovská množství dat s extrémně nízkou latencí. Nestačí, aby spolu jen komunikovaly přes běžnou síť. Potřebují být propojené tak těsně, aby z pohledu výpočtu působily skoro jako jeden systém.

NVLink začínal jako propojení osmi GPU, pak se rozrostl na větší konfigurace a dnes se mluví o řádech stovek až více než tisíce propojených GPU v rámci scale-up domény. Shainer zmiňuje konfigurace jako NVLink 72, ale i ještě větší směry vývoje. Důležité je, že s rostoucím rozsahem musí růst i radix, propustnost a schopnost sítě provádět část operací přímo uvnitř infrastruktury.

Právě tady se ukazuje, jak odlišná je AI od klasického enterprise nebo cloud prostředí. V běžných serverových workloads síť typicky jen přenáší data. Ve scale-up AI architektuře musí navíc nabídnout:

• extrémně nízkou latenci,
• masivní šířku pásma,
• in-network computing,
• podporu redukčních operací přímo v infrastruktuře.

Jinými slovy, scale-up síť není doplněk. Je to mechanismus, který z více fyzických akcelerátorů skládá jednu logickou GPU jednotku.

🌐 Scale-out: proč běžný Ethernet pro AI nestačí

Jakmile vznikne výpočetní jednotka na úrovni scale-upu, přichází další krok: scale-out. Tedy propojení velkého počtu těchto jednotek do obřího clusteru. A právě zde NVIDIA staví Spectrum-X Ethernet jako purpose-built síť pro AI a vědecké výpočty.

Tohle je zásadní rozdíl oproti starším hyperscale cloudům. Tam se často používal standardní ethernet navržený především pro tradiční serverové úlohy. Taková síť byla dost dobrá pro přístup k serverům, běžné datové toky a relativně známé komunikační vzory. Jenže AI je něco jiného.

Distribuované trénování a inference přinášejí nároky, které běžná ethernetová infrastruktura neřešila jako prioritu. Síť už nesmí být jen dostatečně rychlá v průměru. Musí být konzistentní v čase. Musí minimalizovat jitter, omezovat congestion, předcházet hotspotům a držet všechny výpočetní uzly v těsné synchronizaci.

Pokud se jeden segment clusteru zpozdí, nezpomaluje se jen ten jeden server. Zdržuje se celý distribuovaný výpočet. A v prostředí, kde jsou akcelerátory drahé a spotřeba energie omezená, je takové zpomalení extrémně nákladné.

Právě proto byl Spectrum-X navržen s konkrétním cílem: odstranit jitter a vytvořit infrastrukturu, která umožní GPU jednotkám fungovat synchronizovaně i ve velmi velkých systémech.

⚙️ Co přesně Spectrum-X řeší

Nejzajímavější na celé debatě je, že Spectrum-X není prezentován jako „rychlejší ethernet“. Jde spíš o novou interpretaci ethernetu pro AI. To znamená, že se neřeší jen propustnost linek, ale i chování sítě při reálných distribuovaných workloads.

Shainer vyzdvihuje několik klíčových problémů, které musí AI síť vyřešit:

• Jitter, tedy kolísání zpoždění, které narušuje synchronizaci výpočtů
• Congestion a hotspoty, které vytvářejí fronty a zpomalují některé datové toky
• Izolaci workloadů, aby jedna úloha nebo jeden uživatel neovlivňoval jiného
• Deterministický výkon, bez něhož se obtížně plánuje provoz i SLA
• Efektivní využití šířky pásma, aby síť nebyla teoreticky rychlá, ale prakticky nevyužitá

Tohle všechno se nedá vyřešit jedním zařízením. A to je důležitá myšlenka. AI síť podle Shinera nevznikne jen tím, že člověk postaví výkonný switch. Stejně tak nestačí jen výkonná NIC. Nutná je end-to-end architektura, v níž má switch svůj úkol a síťová karta nebo SuperNIC zase svůj.

Jedním z důvodů je například pořadí dat. GPU odesílají a přijímají data, která musí dorazit ve správném pořadí. Pokud by tuto odpovědnost nesl přímo switch a zároveň měl agresivně rozkládat provoz napříč více cestami v síti, dostal by se do konfliktu dvou protichůdných požadavků. Proto NVIDIA rozděluje role mezi jednotlivé části infrastruktury a řeší problém jako systém, ne jako samostatný produkt.

📈 Reálné výsledky: 95 procent efektivní propustnosti a nulové kolize

Výkonnostní čísla, která Shainer uvádí z nasazení Spectrum-X, jsou pozoruhodná hlavně v kontextu velikosti prostředí. Mluví o nasazeních, která propojují stovky tisíc GPU v jediné AI továrně. U prvních velkých instalací zaznělo číslo 95 procent efektivní šířky pásma.

Samo o sobě je to působivé, ale ještě zajímavější je druhý údaj: nulové kolize ve velké víceúrovňové síti. Proč je to tak důležité? Protože nulové kolize znamenají, že síť zvládá congestion tak dobře, že se provoz neblokuje navzájem. A když nedochází ke kolizím, mohou vedle sebe běžet různé workloady bez toho, aby si navzájem kradly výkon.

V praxi to přináší několik dopadů:

• vyšší využití drahých GPU,
• stabilnější výkon AI úloh,
• lepší možnost sdílení infrastruktury mezi více uživateli,
• předvídatelnější provoz v AI cloudu.

Shainer zároveň zdůrazňuje, že vedle 95procentní efektivní propustnosti je pro něj ještě důležitější právě nulový jitter a nulové kolize. Důvod je prostý. Teoreticky vysoká šířka pásma je skvělá, ale pokud ji provází nestabilita a zpoždění, distribuovaný výpočet stejně nebude fungovat optimálně.

U AI workloadů často nerozhoduje průměr, ale nejpomalejší článek řetězce. Síť tedy musí držet výkon rovnoměrně, ne jen dosahovat špiček v benchmarku.

🚦 Congestion control a adaptive routing jako základ AI sítě

Za těmito výsledky stojí podle NVIDIA hlavně dvě schopnosti: adaptive routing a congestion control.

Adaptive routing pomáhá rozkládat provoz po síti tak, aby se dostupná kapacita využívala co nejefektivněji. Místo rigidního směrování přes fixní cesty se provoz může přizpůsobovat aktuálním podmínkám. To je důležité hlavně v prostředí, kde datové vzory AI úloh bývají velmi intenzivní a často se mění.

Congestion control pak míří přímo na prevenci hotspotů. Pokud se někde začne hromadit provoz, síť musí umět zareagovat dřív, než vznikne dominový efekt zpoždění. V AI cloudu je navíc kritické i to, aby jeden tenant nebo jeden job nesnižoval výkon ostatních. Dobře navržená kontrola zahlcení tak nepomáhá jen výkonu, ale i férovosti a provozní spolehlivosti.

Výsledek je síť s deterministickým chováním. A to je v AI prostředí obrovská výhoda. Pokud výkon sítě výrazně kolísá, je složité garantovat úroveň služeb a ještě složitější optimalizovat nákladný výpočetní provoz. Determinismus je tady skoro stejně cenný jako samotná rychlost.

🔭 Scale-across: propojení více AI továren do giga-scale prostředí

Jakmile nestačí ani jedna obří AI továrna, přichází další vrstva: scale-across. Jejím cílem je spojit více AI továren do ještě většího výpočetního celku, někdy označovaného jako gigascale AI factory.

Scale-across podle Shinera navazuje na algoritmy vyvinuté pro scale-out, ale přidává jednu klíčovou schopnost: distance awareness. Síť si tedy nehlídá jen congestion a routing, ale bere v úvahu i vzdálenost mezi částmi infrastruktury.

To je důležité, protože chování sítě na větší vzdálenosti se přirozeně liší od lokálního propojení uvnitř jedné haly nebo jedné row. Jakmile propojuji více segmentů AI infrastruktury, musím brát v úvahu fyzikální limity, latenci i vhodné úpravy algoritmů řízení provozu.

Jinými slovy, scale-across není jen delší kabel. Je to další úroveň síťové inteligence, která umožňuje rozšířit AI továrnu za hranice jednoho lokálního clusteru bez dramatické ztráty efektivity.

💾 Nová síťová vrstva pro context memory storage

Velmi zajímavým tématem je i nová infrastruktura pro context memory storage, která cílí hlavně na inferenci. Jak se zvyšují nároky moderních modelů a roste význam dlouhého kontextu, roste i potřeba efektivně ukládat a obsluhovat KV cache.

Tady NVIDIA kombinuje BlueField 4 v roli storage controlleru se Spectrum-X a vytváří novou infrastrukturu pro práci s kontextovou pamětí. Smyslem je nabídnout řešení, které je:

• nákladově efektivní,
• energeticky úsporné,
• dobře integrované do AI továrny,
• vhodné pro inferenční provoz s rostoucími nároky na paměť.

To dobře ukazuje, kam se síťová architektura AI továren posouvá. Už nejde jen o přenos dat mezi výpočetními uzly. Síť je čím dál víc propojena i s pamětí, úložištěm a řízením datových cest uvnitř celého AI systému.

⚡ 800G, rychlejší cadence a tlak na výzkum

Další výrazné téma je tempo vývoje. Alan Weckel připomíná, že průmysl vstupuje do 800G upgrade cyklu a že objem dodávané síťové kapacity roste mimořádně rychle. Podle něj se v některých nedávných čtvrtletích dodalo za jediný kvartál více šířky pásma než před dvěma lety za celé srovnatelné období.

Shainer k tomu dodává ještě jeden důležitý rozměr: cadence inovací se dramaticky zrychlila. Dřív se nové generace technologií objevovaly zhruba po třech až čtyřech letech. Dnes přichází nová platforma, switch, SuperNIC i GPU prakticky každý rok.

To má obrovský dopad na vývoj. Firmy už si nemohou dovolit pracovat jen na jedné generaci produktu. Musejí souběžně připravovat dvě nebo více generací dopředu a současně odhadovat, které technologie budou důležité za dva, tři nebo čtyři roky. Shainer jako příklad uvádí právě co-packaged optics, ale naznačuje i další integrační kroky, které přijdou později.

V AI infrastruktuře tedy už nestačí jen dobře vyrábět. Kritická je i schopnost dlouhodobého výzkumu a koordinace napříč týmy pro networking, storage, akceleraci i systémovou integraci.

🔌 Co-packaged optics: milník, o kterém se mluvilo roky

Nejsilnějším technickým motivem celé debaty je bezesporu co-packaged optics, zkráceně CPO. Jde o krok, který byl dlouho považován za velmi slibný, ale zároveň mimořádně náročný na dotažení do produkčního nasazení.

Proč je CPO tak důležité? Odpověď začíná u spotřeby energie. V tradičních hyperscale cloudech se velká část provozu odehrávala uvnitř racku, kde byly servery propojené mědí na top-of-rack switch. Optika byla potřebná hlavně pro další vrstvy sítě.

V AI továrnách je situace jiná. Scale-out síť přesouvá obrovské objemy dat na větší vzdálenosti a spotřeba optické vrstvy rychle roste. Shainer upozorňuje, že právě optická část sítě může mířit k tomu, že si vezme téměř 10 procent výpočetní energetické kapacity AI továrny. A to už je obrovské číslo.

Napájení je přitom hlavní omezení při stavbě AI infrastruktury. Každý watt, který se ušetří na síti, může být použitý pro další akcelerátory nebo další užitečný výkon. Proto má CPO takový význam.

🌡️ Proč CPO snižuje spotřebu skoro pětinásobně

Princip CPO je elegantní. V běžném řešení je mezi síťovým ASICem a optickým enginem v transceiveru fyzická vzdálenost. Data je nutné přes tuto vzdálenost „dotlačit“, což stojí energii. Čím delší a náročnější elektrická cesta, tím vyšší spotřeba.

Když se optický engine přiblíží přímo k síťovému čipu a zabalí se s ním do společného pouzdra nebo velmi těsné integrace, tato energetická ztráta dramaticky klesá. Právě odtud pochází odhad, že CPO může snížit spotřebu optické sítě téměř pětkrát.

Pro AI továrny je to obrovský posun. Nejde jen o ekologii nebo provozní náklady. Jde o to, kolik výpočetního výkonu lze vůbec v dané energetické obálce postavit.

NVIDIA navíc zdůrazňuje, že CPO nepřináší jen energetické úspory. Podle Shinera vede i k přibližně desetinásobnému zlepšení doby mezi přerušeními, tedy ke zvýšení spolehlivosti a odolnosti infrastruktury. V prostředí obřích AI clusterů je to mimořádně cenné, protože každé přerušení může mít široký dopad na výkon i dostupnost služeb.

🏭 CPO míří do produkce a to je klíčová změna

Na co-packaged optics je podle Shinera nejzajímavější to, že už nejde jen o laboratorní koncept nebo ukázku na veletrhu. Spectrum-X s CPO se posouvá do produkce a zákazníci mají začít stavět nové AI továrny s touto technologií ve druhé polovině roku.

To je významný milník i proto, že CPO vyžaduje široký partnerský ekosystém. NVIDIA mluví o návrhu optických enginů s micro-ring modulators, spolupráci s TSMC na novém procesu pouzdření a zapojení dalších partnerů kvůli výkonnějším laserům a dalším komponentám. CPO tedy není jeden díl. Je to celá dodavatelská a inženýrská skládačka.

Pokud se tato technologie skutečně prosadí v produkčních AI továrnách, může se stát jedním z určujících faktorů pro další škálování ethernetových AI sítí.

Pro širší kontext síťových technologií NVIDIA je užitečné podívat se i na oficiální přehled networking řešení NVIDIA.

🏢 Tradiční datová centra versus AI továrny

Shainer v debatě několikrát zdůrazňuje, že klasická datová centra nikam nemizí. Pro mnoho tradičních single-server workloadů může být běžný off-the-shelf ethernet stále zcela dostačující. Pokud většina provozu proudí mezi serverem a top-of-rack switchem a optika je využívána omezeně, není nutné přecházet na stejný typ infrastruktury jako u AI továren.

Jenže pro distribuované AI workloady platí jiná pravidla. Trénování i inference vyžadují nízkou latenci, vysokou propustnost, minimální jitter a zamezení tomu, aby jeden job poškozoval výkon jiného. To jsou potřeby, které běžná síť historicky neřešila jako primární cíl.

Shainer to shrnuje velmi výstižně. Když stejné výpočetní enginy spojím běžnou ethernetovou sítí, dostanu serverovou farmu. Když je spojím infrastrukturou navrženou přímo pro AI, dostanu superpočítač. Výpočetní čipy mohou být stejné, ale rozdíl ve výsledku dělá právě infrastruktura.

🤖 Proč na kvalitě sítě záleží i u inference, agentů a mixture of experts

Je snadné spojovat požadavky na extrémní síť hlavně s trénováním obřích modelů. Rozhovor ale dává jasně najevo, že podobné principy platí i pro moderní inferenční scénáře. To zahrnuje i architektury typu mixture of experts a systémy složené z více agentů, které si mezi sebou předávají data a koordinují odpovědi.

Jakmile se úloha rozprostře přes více výpočetních motorů, potřeby se vracejí ke stejnému základu:

• nízká latence,
• vysoká šířka pásma,
• žádný nebo minimální jitter,
• dobrá izolace mezi workloady,
• spolehlivé doručování bez výkonových výkyvů.

To je důvod, proč se síťová propast mezi špičkovými AI továrnami a zbytkem odvětví podle všeho spíš zvětšuje, než zmenšuje. Čím náročnější a distribuovanější AI úlohy jsou, tím víc záleží na síti navržené přímo pro tento způsob výpočtu.

📊 Co si z toho odnést

Když si všechny body poskládám dohromady, vychází mi několik jasných závěrů o směru, kterým se AI infrastruktura ubírá.

1. Síť se stala klíčovým určovatelem výkonu AI továren. Už nejde o pasivní transportní vrstvu.
2. Jedna univerzální síť nestačí. AI továrny kombinují více specializovaných infrastruktur pro různé části výpočtu.
3. Ethernet pro AI musí být přepracovaný. Spectrum-X míří na problémy jako jitter, congestion a deterministický výkon.
4. Energetická efektivita optiky je kritická. CPO může být jedním z nejdůležitějších milníků další generace AI sítí.
5. Rozhoduje systémový přístup. Switch, NIC, SuperNIC, DPU, storage a optika musejí být navrženy jako jeden celek.

Debata kolem AI továren se často točí hlavně kolem GPU. To je pochopitelné, protože akcelerátory jsou nejviditelnější a také nejdražší součást celé skládačky. Jenže z pohledu reálného výkonu už nestačí řešit jen samotný výpočetní čip. Stejně důležité je, jak dobře spolu všechny tyto čipy spolupracují. A právě to je úloha sítě.

Pokud se naplní současný směr vývoje, budou příští roky patřit nejen rychlejším akcelerátorům, ale i mnohem chytřejším síťovým architekturám. Spectrum-X, scale-up přes NVLink, scale-across a produkční nástup co-packaged optics ukazují, že budoucnost AI nebude stát jen na výkonu jednotlivých čipů. Bude stát na tom, jak dobře je dokáže infrastruktura propojit do jednoho fungujícího celku.

A právě v tom dnes leží skutečné srdce AI továrny.