Kolem AI se dnes mluví hlavně o modelech, čipech a rychlosti inovací. Jenže pod povrchem běží ještě jeden zásadní příběh: AI už není jen software. Stává se z ní infrastruktura. A jakmile se z AI stane infrastruktura, přestávají stačit zjednodušené metriky typu FLOPS na dolar nebo cena za GPU hodinu.
To hlavní, co dnes AI datacentra skutečně vyrábějí, nejsou GPU hodiny. Jsou to tokeny. A pokud chci pochopit skutečné náklady, efektivitu i obchodní smysl AI infrastruktury, musím se dívat na cost per token, tedy cenu za token.
Právě tahle myšlenka dnes stále víc formuje debatu o AI TCO, tedy total cost of ownership. Nejde jen o to, kolik stojí hardware. Jde o to, kolik použitelné inteligence se z celé soustavy podaří dostat ven. A to je mnohem širší otázka, než se na první pohled zdá.
Na jednom místě se tu protíná energetika, návrh datacenter, síťování, chlazení, software, využití výpočetní kapacity i ekonomika provozu. Kdo tohle nepočítá end to end, může mít špičkové čipy, a přesto prodělávat.
Obsah
- ⚡ AI továrny už nevyrábějí výpočet, ale inteligenci
- 📈 Proč staré metriky přestávají stačit
- 🏭 Co vlastně znamená TCO u AI datacenter
- 🔌 Proč je energie pro AI klíčová
- 🧊 PUE, režie a neviditelné ztráty v datacentru
- 🧮 Proč je cost per token lepší než GPU hodina
- 📊 Jaké metriky mají smysl místo zjednodušených zkratek
- 🤖 Inferenční boom mění všechna pravidla
- 🕸️ Proč rozhoduje celý stack, ne jen GPU
- 💧 Chlazení, síťování a rack design jako skryté páky efektivity
- 🌍 Svět je omezený výkonem, ne jen chutí po AI
- 💼 Co to znamená pro byznys a ziskovost
- 🛠️ Kde všude lze cost per token snižovat
- 🔋 Odkud se vezme energie pro další vlnu AI
- 🚀 Proč se to celé děje právě teď
- ✅ Jediná metrika, která spojuje techniku s byznysem
⚡ AI továrny už nevyrábějí výpočet, ale inteligenci
Jedna z nejsilnějších myšlenek v celé debatě je velmi jednoduchá: moderní AI datacentra jsou továrny na tokeny. NVIDIA pro ně používá i označení intelligence factories, továrny na inteligenci.
Tahle analogie není jen marketingově hezká. Je překvapivě přesná.
V klasické továrně mám vstupy, výrobu, ztráty, provozní náklady, kapitálové náklady a finální produkt. U AI datacenter je to podobné:
- Vstupem je elektřina a výpočetní infrastruktura.
- Výrobní proces zajišťují GPU, CPU, síť, paměť, storage a software.
- Ztráty vznikají při přenosu energie, v napájení, při chlazení i při neefektivním využití systémů.
- Výstupem jsou tokeny, tedy prakticky využitelná inteligence.
Když si tohle uvědomím, hned se změní způsob, jakým se na AI ekonomiku dívám. Najednou přestává dávat smysl optimalizovat izolovaný parametr. Nestačí mít levnější GPU hodinu, pokud z té hodiny dostanu méně tokenů. Nestačí mít vysoký teoretický výkon, pokud ho sežerou ztráty v infrastruktuře. Nestačí mít levnější elektřinu, pokud se velká část promění jen v teplo, které pak draze odstraňuji.
V továrně přece taky nehodnotím úspěch podle ceny výrobní linky za hodinu. Hodnotím ji podle toho, kolik kvalitních výrobků z ní skutečně vyjede a za jakou cenu.
📈 Proč staré metriky přestávají stačit
Ještě nedávno dávalo velký smysl mluvit o FLOPS na dolar nebo o ceně GPU za hodinu. Tyhle metriky jsou jednoduché, dobře se porovnávají a dlouho fungovaly jako rychlá zkratka pro výkon infrastruktury.
Dnes už ale nestačí.
Důvod je prostý: měří vstupy, ne výstupy.
FLOPS na dolar mi řekne něco o teoretickém výpočetním výkonu za určitou cenu. Cena GPU za hodinu mi řekne něco o nájmu výpočetního zdroje. Ani jedna z těchto metrik ale neříká, kolik skutečné hodnoty z toho vznikne.
A právě tady přichází zásadní rozdíl mezi staršími workloady a současnou AI inferencí.
U tradičních datacenter byla zátěž často předvídatelnější. U AI se ale všechno mění. Použití modelů se rychle posouvá od krátkých dotazů k dlouhým reasoning úlohám, k agentům a k nepřetržité inferenci. Nader Khalil v debatě velmi trefně popisuje proměnu využití: dříve byl provoz „špičkový a pichlavý“, dnes se začíná měnit v téměř konstantní zatížení.
To je velký zlom.
Krátké dotazy vytvářejí špičky. Reasoning modely prodlužují jejich trvání. A agentní systémy, které běží dlouho nebo dokonce nepřetržitě, mění zátěž v téměř souvislou plochu. Jakmile se tokenová spotřeba „nevrací dolů“, začíná být ekonomika infrastruktury mnohem citlivější na každou neefektivitu.
Právě proto je cost per token mnohem přesnější metrika. Zachycuje totiž to, co firma skutečně dodává a prodává: inteligentní výstup.
🏭 Co vlastně znamená TCO u AI datacenter
Termín TCO, tedy total cost of ownership, bývá často používán dost volně. V praxi ale jde o jednoduchou otázku: kolik mě stojí vybudovat a provozovat AI infrastrukturu po celou dobu její životnosti?
U AI datacenter má TCO dvě velké složky:
- CAPEX, tedy kapitálové náklady na výstavbu a vybavení
- OPEX, tedy provozní náklady během běhu systému
CAPEX: co stojí postavit AI továrnu
Do CAPEX spadá všechno, co musím pořídit před spuštěním provozu. Typicky jde o:
- čipy a výpočetní uzly,
- racky,
- síťovou infrastrukturu,
- storage,
- napájecí systémy,
- chlazení,
- samotnou budovu nebo datacentrovou infrastrukturu.
Na první pohled je to právě tato část, která přitahuje nejvíc pozornosti. Je viditelná, drahá a snadno se porovnává. Jenže jakmile se datacentrum rozběhne, vstupuje do hry druhá a dlouhodobě rozhodující část.
OPEX: proč nakonec dominuje elektřina
V provozu se hlavním nákladem stává energie. A ne jen ta, kterou spotřebují čipy při výpočtu. Elektřina je potřeba:
- pro samotné GPU a CPU,
- pro síťové prvky a další komponenty,
- pro napájecí konverze,
- pro odvod tepla a chlazení,
- pro další podpůrné systémy budovy.
Tady je klíčový moment: ne každý watt, který do datacentra vstoupí, se promění v tokeny.
Část energie se ztratí cestou. Část se spotřebuje na podpůrné systémy. Část skončí jako teplo, které je nutné z budovy zase odstranit. To znamená, že stejné množství dodané elektřiny může v různých datacentrech vést k velmi odlišnému množství výstupních tokenů.
A právě proto je cost per token tak důležitý. Umí do sebe zahrnout nejen výkon čipů, ale i veškeré ztráty a efektivitu celého systému.
🔌 Proč je energie pro AI klíčová
Dr. Gerro Prinsloo v debatě vystihuje základní realitu velmi přímo: bez energie AI prostě neběží. Elektřina je vstupem do továrny. Pokud není k dispozici, není co vyrábět. Pokud je drahá nebo se cestou plýtvá, prodražuje se každý token.
Tohle má několik vrstev.
1. Energii je potřeba nejdřív vyrobit
Datacentrum si výkon nevymyslí. Elektřina musí vzniknout někde mimo něj. Může pocházet z různých zdrojů podle lokality a podmínek:
- zemní plyn,
- jaderná energie,
- uhlí,
- větrná energie,
- geotermální zdroje,
- a v budoucnu také nové přístupy, například metal fuels.
Volba zdroje není jen technická otázka. Ovlivňuje cenu, dostupnost, rychlost nasazení i stabilitu provozu.
2. Energii je potřeba dostat až ke čipu
To, že se elektřina vyrobí, ještě neznamená, že se efektivně dostane k výpočetnímu výkonu. Každý přenos, každá konverze napětí a každý mezistupeň znamenají ztráty.
Proto se tolik mluví například o architekturách jako 800V DC. Vyšší efektivita distribuce energie uvnitř datacenter může přinést jednotky až desítky procent úspor. A v prostředí, kde roste spotřeba do obrovských rozměrů, jsou právě takové „malé“ zisky obrovsky cenné.
3. Energie se nespotřebovává jen na výpočet
Čipy generují teplo. Síťové prvky generují teplo. Napájecí zařízení generují teplo. A to teplo musím dostat pryč. Čím neefektivnější je infrastruktura, tím víc energie spotřebuji na úkoly, které se nijak neprojeví v počtu vygenerovaných tokenů.
Jinými slovy, energie není pro AI vedlejší technický detail. Je to hlavní výrobní surovina.
🧊 PUE, režie a neviditelné ztráty v datacentru
Jedním z nejdůležitějších pojmů v debatě o efektivitě datacenter je PUE, tedy Power Usage Effectiveness. Tahle metrika říká, jak velká část energie skutečně míří do IT zátěže a kolik se spotřebuje na režii, jako je chlazení nebo napájecí infrastruktura.
Když to zjednoduším:
- PUE 1,0 by znamenalo ideální stav, kdy všechen příkon jde přímo na výpočet.
- PUE 1,2 znamená, že na každou jednotku energie pro IT připadá ještě další režie.
- PUE 2,0 je extrémně neefektivní scénář, kde se zhruba stejná část energie spotřebuje na režii jako na samotné IT.
Právě tady padl jeden z nejvýraznějších momentů celé debaty: některá datacentra mohou mít overhead až 100 %. To znamená, že značná část energie, kterou provozovatel nakupuje, vůbec nejde na generování tokenů.
To je ekonomicky zásadní.
Představme si dva provozovatele AI infrastruktury:
- První má vysoce efektivní zařízení s nízkými ztrátami.
- Druhý ztrácí velkou část energie v napájení a chlazení.
Pokud oba prodávají tokeny za stejnou cenu, ten druhý si vlastně ukrajuje z marže. Dlouhodobě je to neudržitelné. A pokud si tyto ztráty ani správně nepočítá, možná ani netuší, proč je jeho byznys pod tlakem.
Cost per token tenhle problém odhalí. Cena GPU hodiny ne.
🧮 Proč je cost per token lepší než GPU hodina
GPU hodina je časová metrika. A právě v tom je problém.
Čas sám o sobě neříká nic o tom:
- kolik energie bylo potřeba,
- jaké byly ztráty při distribuci napájení,
- jak efektivní bylo chlazení,
- jak dobře byl využit hardware,
- kolik tokenů se skutečně podařilo vyrobit.
Cost per token naopak směřuje pozornost k finálnímu výstupu. Pokud token chápu jako jednotku užitečné inteligence, dává smysl počítat, kolik mě tato jednotka opravdu stojí.
V debatě zaznívá užitečné přirovnání z energetiky. Tam se dlouho pracuje s pojmem levelized cost of energy, tedy vyrovnaná cena energie za celou životnost zařízení. Není to dokonalá metrika, ale je užitečná, protože do jedné hodnoty promítá:
- počáteční investici,
- provozní náklady v čase,
- celkové množství vyrobené energie.
Stejná logika dává smysl i u AI infrastruktury. Nestačí počítat jen okamžitou cenu provozu. Je potřeba rozpočítat investici i provoz přes celou životnost systému a vztáhnout je k reálnému výstupu, tedy k tokenům.
Teprve pak získám metrický základ, který je užitečný pro business rozhodnutí.
📊 Jaké metriky mají smysl místo zjednodušených zkratek
Když se debata posune od vstupů k výstupům, začnou dávat větší smysl jiné ukazatele. Mezi nejpraktičtější patří:
- cost per token neboli cena za token,
- cost per million tokens, což je snadněji čitelná obchodní jednotka,
- tokens per second, tedy rychlost inferenčního výstupu,
- tokens per second per megawatt, tedy kolik inteligence dostanu z omezeného energetického rozpočtu,
- tokens per GPU hour, pokud je tento ukazatel zasazený do širšího kontextu účinnosti.
Obzvlášť zajímavý je ukazatel tokens per second per megawatt. Ten je velmi praktický pro svět, který je čím dál víc energeticky omezený. Datacentrum nemá nekonečné napájení. Když mám například zařízení s pevným limitem 5 MW, potřebuji z něj dostat co nejvíc tokenů.
Tahle perspektiva je v AI čím dál důležitější. Není totiž pravda, že hlavní problém je jen cena čipu. Často je skutečným omezením to, zda vůbec existuje dostupný výkon, který lze přivést k nové AI infrastruktuře.
🤖 Inferenční boom mění všechna pravidla
Ještě před krátkou dobou dominovala debatě hlavně trénovací infrastruktura. Dnes se pozornost výrazně přesouvá k inferenci. A to není kosmetická změna. Je to posun, který mění ekonomiku celého odvětví.
Důvod je jednoduchý: inference je to, co se děje neustále.
Když se AI používala hlavně pro jednotlivé dotazy, byla zátěž nerovnoměrná. Teď ale přichází reasoning modely, agenti a dlouho běžící úlohy. Tokenová spotřeba přestává být krátkým špičkovým jevem a začíná se podobat trvale zapnuté infrastruktuře.
Tady padla velmi hezká historická analogie s elektrickou sítí.
V počátcích elektrifikace se síť používala hlavně na osvětlení. Ve dne byla poptávka nízká, večer vysoká. Teprve s postupným přidáváním dalších aplikací se křivka spotřeby začala vyrovnávat. Podobně se dnes chová AI. Nejprve šlo o „rozsvícení světla“ v podobě jednoduchých chatbotů. Pak přišly náročnější use casy. A nyní se objevují agentní systémy, které běží dlouho, často nepřetržitě.
To má dva důsledky:
- roste absolutní spotřeba tokenů,
- roste význam efektivity každé části stacku.
Když je zátěž nepřetržitá, každá neefektivita se násobí 24 hodin denně. Najednou není důležité jen to, jak rychlý je model, ale jak efektivně ho mohu provozovat ve velkém měřítku.
🕸️ Proč rozhoduje celý stack, ne jen GPU
Jedna z nejdůležitějších myšlenek celé debaty zní takto: AI infrastruktura je systémový problém.
Nestačí optimalizovat čip izolovaně. Výsledek je dán souhrou všech vrstev:
- GPU a CPU,
- paměti,
- síťování,
- napájení,
- chlazení,
- rackového designu,
- softwaru a inferenční orchestrace.
Carter Abdallah mluví o tom, že pokud se různí dodavatelé a části systému „potkají“ až uvnitř datacentra, je už pozdě. To je přesně ono. Když spolu architektura napájení, síť, chlazení a software nejsou navrženy společně, vznikají zbytečné ztráty.
To je důvod, proč se tolik zdůrazňuje co-design a simulace předem. AI továrna není skládačka, kde se náhodně poskládají odděleně vybrané komponenty. Je to propojený systém, kde každé rozhodnutí ovlivňuje celkovou cenu za token.
Příklad: generační skoky nejsou jen o FLOPS
V materiálu NVIDIA zaznívá zajímavé srovnání:
- FLOPS na dolar se mezi generacemi zlepší zhruba 2x,
- cost per million tokens může být nižší zhruba 35x,
- tokens per second per megawatt mohou být vyšší až 50x.
Tohle je perfektní ukázka toho, proč samotné FLOPS nestačí. Reálná hodnota nevzniká jen zvýšením hrubého výkonu čipu. Vzniká kombinací:
- vyšší výpočetní efektivity,
- lepšího využití energie,
- rychlejšího síťování,
- lepšího chlazení,
- softwarových optimalizací,
- a celkového návrhu systému.
Pokud někdo sleduje jen hrubý teoretický výkon, přehlédne nejdůležitější část příběhu.
💧 Chlazení, síťování a rack design jako skryté páky efektivity
Když se mluví o AI výkonu, většina pozornosti míří na GPU. V praxi ale o ekonomice provozu spolurozhodují i zdánlivě „podpůrné“ technologie.
Kapalinové chlazení
V debatě zaznívá posun ke kompletně kapalinově chlazeným systémům a k uzavřeným okruhům. Smysl je dvojí:
- efektivněji odvádět teplo z velmi hustě osazených racků,
- omezit plýtvání zdroji, například vodou.
Tohle je čím dál důležitější, protože AI racky mají mnohem vyšší hustotu výkonu než starší generace serverů. Když se výpočet soustředí do menšího prostoru, teplo přestává být vedlejší starostí a stává se hlavním inženýrským limitem.
Síťování a přenos bitů
Další vrstvou je networking. Jakmile je rack sám o sobě obrovským výpočetním uzlem, úzkým hrdlem se stává komunikace mezi komponentami. Vysokorychlostní propojení, optika, NVLink a signal processing nejsou jen technické detaily pro specialisty. Jsou to části řetězce, které rozhodují o tom, zda se výpočet skutečně promění v užitečné tokeny bez zbytečných prostojů.
Racky jako nová výpočetní jednotka
Zajímavá je i změna pohledu na samotný uzel. Dříve se často uvažovalo o několika GPU v jednom nodu. Dnes se stále víc mluví o racku jako o funkčním celku. To mění vše od napájení přes chlazení až po síťovou topologii.
Jakmile se změní základní stavební blok AI infrastruktury, musí se přepočítat i to, co znamená efektivita. Cost per token je přesně typ metriky, který takovou změnu umí zachytit.
🌍 Svět je omezený výkonem, ne jen chutí po AI
Na celé debatě mě zaujala ještě jedna silná teze: jako lidstvo máme pravděpodobně prakticky neomezenou poptávku po inteligenci, ale žijeme ve světě omezeném výkonem.
To je velmi přesné.
Poptávka po AI službách roste rychleji, než roste nasazený výpočetní výkon. A i když firmy uvádějí stále výkonnější generace akcelerátorů, samotná poptávka po tokenech stoupá po řádech. Ne lineárně. Exponenciálně.
To se už dnes projevuje velmi konkrétně:
- některé AI služby mají limity použití,
- některé zdražují předplatné,
- některé škrtí dostupnost pokročilejší inference.
Ne nutně proto, že by jednotlivý token byl dražší na výrobu než dřív. Naopak, technologie se zlepšují. Problém je, že dostupného výpočetního a energetického rozpočtu není dost pro úroveň inteligence, kterou uživatelé a firmy chtějí.
Tohle je další důvod, proč je důležité dívat se na tokens per megawatt a na cost per token. V omezeném světě rozhoduje, kolik užitečné práce dostanu z každé jednotky energie a infrastruktury.
💼 Co to znamená pro byznys a ziskovost
Celá debata o metrikách by byla akademická, kdyby neměla přímý dopad na hospodaření firem. Jenže má, a velmi výrazný.
Pokud firma provozuje AI infrastrukturu a nezná svůj skutečný cost per token, riskuje hned několik problémů:
- špatně nacení své služby,
- podcení provozní náklady,
- nebude rozumět tomu, kde jí mizí marže,
- neudrží krok s efektivnější konkurencí.
Tady je dobré vrátit se k jednoduché analogii z výroby nebo zemědělství. Kdybych prodával potraviny a ignoroval náklady na dopravu vody, osiva, energie nebo ztráty po cestě, dříve nebo později bych zjistil, že moje marže nevychází. U AI to není jiné. Jen jsou ztráty méně viditelné, protože se odehrávají v elektrických rozvodech, síťových vrstvách a softwarových orchestracech místo na silnici nebo ve skladu.
Ekonomika tokenu je zkrátka nová ekonomika produktu.
🛠️ Kde všude lze cost per token snižovat
Na cost per token se dá dívat jako na výsledek rovnice. A pokud chci tuto hodnotu zlepšit, mám několik pák.
1. Snížit CAPEX
To lze například standardizací designu, modularizací a rychlejší výstavbou. Pokud stavím každou AI továrnu od nuly, zbytečně prodražuji projekt i jeho čas do uvedení do provozu.
2. Snížit OPEX
Sem patří efektivnější výroba a distribuce elektřiny, nižší ztráty, lepší chlazení a celkově menší režie datacentra.
3. Zvýšit počet vyrobených tokenů
To je často opomíjený, ale velmi silný nástroj. Pokud ze stejné infrastruktury dostanu více tokenů, cost per token klesá. Pomáhá k tomu:
- lepší využití infrastruktury,
- vyšší throughput,
- softwarové optimalizace,
- lepší plánování inferenčních workloadů.
4. Zkrátit dobu neproduktivního kapitálu
Pokud je kapitál uvázaný dva roky ve výstavbě bez výstupu, je to náklad. Pokud se stejná infrastruktura uvede do provozu za šest až dvanáct měsíců, ekonomika projektu se výrazně zlepší.
5. Zlepšit využití továrny
Nevyužitá AI infrastruktura je drahá AI infrastruktura. Pokud zařízení běží jen na část své kapacity, fixní náklady se rozpočítávají na menší objem tokenů. Výsledkem je vyšší cena za token.
Tohle je důležité i z pohledu softwaru. Právě proto mají význam optimalizace inference, orchestrace a systémy, které zvyšují průchodnost a efektivitu bez nutnosti přidávat další hardware.
🔋 Odkud se vezme energie pro další vlnu AI
Jestli AI skutečně vstupuje do fáze masivní infrastruktury, pak se energetika a datacentra budou muset sbližovat ještě víc než dosud. A přesně to už se děje.
Debata zmiňuje, že na konferencích utilit se dnes stále víc mluví právě o datacentrech. Dává to smysl. Pokud roste poptávka po AI inferenci, musí s ní držet krok i výroba a distribuce elektřiny.
Mezi důležité směry patří:
- lepší nasazování jaderné energie,
- využití lokálně dostupných zdrojů podle regionu,
- rozvoj geotermálních řešení,
- nové technologie v oblasti energetických nosičů,
- efektivnější napájecí architektura uvnitř datacenter.
Zásadní je i praktický přístup: nelze si jednoduše „vybírat oblíbený zdroj“ bez ohledu na místo a podmínky. AI infrastruktura bude muset využívat to, co je realisticky dostupné, a skládat si energetický mix podle lokální situace. Redundance a flexibilita budou stále důležitější.
🚀 Proč se to celé děje právě teď
Celý obraz dává dohromady jednu zásadní věc: právě teď se poprvé v historii skutečně spojují výkon a energie jako dva nerozlučné pilíře digitální ekonomiky.
To je důvod, proč se vedle sebe najednou potkávají světy, které dlouho fungovaly téměř odděleně:
- vývojáři a AI výzkumníci,
- výrobci čipů,
- provozovatelé datacenter,
- energetické společnosti a utility.
AI už není jen otázka softwaru. Je to největší infrastrukturní přestavba za dlouhou dobu. A s ní přichází i nový způsob myšlení.
Kdo bude dál posuzovat AI ekonomiku jen podle toho, kolik stojí GPU nebo kolik má systém FLOPS, bude vidět jen malou část reality. To může stačit pro technickou prezentaci. Nestačí to pro reálné rozhodování o investicích, provozu ani konkurenceschopnosti.
✅ Jediná metrika, která spojuje techniku s byznysem
Když si z celé debaty odnesu jedinou věc, pak je to tahle: cost per token je metrika, která nejlépe spojuje technickou realitu AI infrastruktury s obchodní realitou AI byznysu.
Proč právě ona?
- Protože měří skutečný výstup, ne jen vstup.
- Protože zahrnuje celý stack od energie po software.
- Protože odhaluje neefektivitu, kterou jiné metriky skrývají.
- Protože souvisí přímo s marží, škálovatelností a konkurenceschopností.
- Protože dává smysl ve světě, kde je výkon omezený a poptávka po inteligenci téměř neomezená.
Jinými slovy, pokud dnes AI datacentra fungují jako token factories, pak je cena za token tím, čím je cena za kus ve výrobě. Je to číslo, bez kterého se nedá dlouhodobě řídit ziskový provoz.
A čím víc se AI přesouvá od experimentů k masivnímu každodennímu nasazení, tím méně prostoru zůstává pro iluze. Výkon bez efektivity nestačí. Levný vstup bez dobrého výstupu nestačí. Samotný hardware nestačí.
Rozhoduje, kolik inteligence se podaří doručit za každou investovanou jednotku kapitálu, energie a času.
A právě proto je cost per token metrika, na které dnes u AI TCO záleží nejvíc.
Vložte prosím seznam dostupných odkazů. Aktuálně je poskytnutý seznam prázdný (
