Zdravotnictví čelí rostoucímu tlaku. Počet pacientů stoupá, populace stárne, zdravotnického personálu není dostatek a operace jsou stále složitější. Právě v této situaci se fyzická umělá inteligence, robotika, simulace a syntetická data dostávají do středu pozornosti jako technologie, které mohou zvýšit efektivitu, přesnost i bezpečnost klinické péče.
Za zásadní považuji změnu přístupu, která se nyní rýsuje: zdravotnický robot se nemá učit až v okamžiku, kdy se dostane do operačního sálu. Má být navržen, testován a trénován nejprve v digitálním prostředí. Tento princip simulation-first design neznamená, že simulace nahradí skutečnou klinickou praxi. Znamená, že vývojáři mohou ověřit obrovské množství scénářů dříve, než robot začne pracovat vedle chirurga a pacienta.
Na GTC SJ 2026 se ukázalo, jak se tento přístup promítá do chirurgické robotiky, ortopedie, automatizace operačních sálů i budoucích systémů pro nemocnice a domácí péči. Společným jmenovatelem všech ukázek byl jeden problém: data.
Obsah
- 🏥 Proč zdravotnictví potřebuje fyzickou AI
- 🧩 Data jsou nejtěžší část celého řetězce
- 🧠 Chirurgická ontologie dává robotům společný jazyk
- 🧪 Simulace mění chirurgický výcvik
- 🤖 Od jednotlivých stehů k autonomním chirurgickým funkcím
- 📚 Open data mohou urychlit výzkum chirurgické AI
- 🌍 World modely a syntetická data rozšiřují klinické scénáře
- 🛠️ Maestro ukazuje cestu od simulace k operačnímu sálu
- 🦴 Ortopedická robotika potřebuje jinou architekturu
- 👥 Robot se musí naučit spolupracovat s celým týmem
- 🛡️ Bezpečnost, vysvětlitelnost a regulace zůstávají rozhodující
- 🔄 Data flywheel může urychlit další generaci robotů
🏥 Proč zdravotnictví potřebuje fyzickou AI
Fyzická AI označuje systémy, které nevnímají pouze text, obraz nebo tabulková data, ale dokážou rozumět fyzickému prostředí a bezpečně v něm jednat. V robotice to znamená spojení kamer, senzorů, modelů počítačového vidění, jazykových modelů, plánování pohybu a řízení robotických ramen.
Ve zdravotnictví je laťka mimořádně vysoko. Anatomie každého pacienta se liší. Tkáně se pohybují, deformují a reagují na nástroje. Operační sál je dynamický prostor, ve kterém pracuje několik lidí, používají se rozmanité nástroje a každá změna musí respektovat sterilitu i bezpečnost pacienta.
Na rozdíl od průmyslové výroby zde často neexistuje přesně daná trajektorie, kterou by robot mohl jednoduše opakovat. Chirurg musí reagovat na konkrétní situaci. Robot proto potřebuje model, který se dokáže přizpůsobit a generalizovat, nikoli jen vykonat jeden předem naprogramovaný pohyb.
Potenciál je přesto obrovský. Robotické systémy by mohly:
- pomáhat chirurgům s opakovanými nebo technicky náročnými úkony,
- zvyšovat konzistenci pracovních postupů,
- zkracovat čas potřebný na přípravu operačního sálu,
- zlepšovat ergonomii a pracovní podmínky personálu,
- umožnit bezpečnější výcvik budoucích chirurgů,
- pomáhat zvládat rostoucí počet výkonů při omezených kapacitách.
Nejde přitom jen o plně autonomní operace. První praktické přínosy pravděpodobně přinesou činnosti s nižším rizikem, například automatické sledování nástroje kamerou, držení instrumentů, odsávání, trakce tkáně, polohování ramen nebo optimalizace pracovního prostoru.
🧩 Data jsou nejtěžší část celého řetězce
Vývoj zdravotnické AI lze popsat jako sled čtyř kroků: data se musí získat, vyčistit a označit, je třeba zjistit, která data chybí, mezery doplnit simulací či generováním syntetických záznamů, a nakonec na datech natrénovat a ověřit model. V teorii jde o přehledný proces. V klinické realitě je každý z těchto kroků mimořádně náročný.
Nemocniční data jsou citlivá. Jejich získávání omezuje ochrana soukromí, právní odpovědnost, interní procesy i rozdílná technická infrastruktura jednotlivých pracovišť. Ani po získání dat není vyhráno. Video z operace, informace o poloze nástrojů, kinematická data robotu, údaje ze senzorů a klinické poznámky je nutné propojit do použitelných datových sad.
Velkým problémem je také anotace. Zkušený chirurg musí rozpoznat anatomické struktury, fáze výkonu, práci s nástroji, chyby i potenciálně rizikové situace. Taková expertiza je vzácná a manuální označování velkých souborů je pomalé.
Navíc nejsou všechny momenty operace stejně důležité. Rutinní část výkonu může zabírat velkou část záznamu, zatímco kritická událost, například krvácení nebo nechtěné poranění struktury, může trvat jen několik sekund. Právě tyto vzácné situace jsou však pro bezpečnost modelu často nejcennější.
Proto se do pracovních postupů dostávají video-jazykové modely. Mohou pomoci rychleji vyhledávat konkrétní události, vytvářet předběžné anotace a usnadnit chirurgům kontrolu rozsáhlých videodat. Cílem není odborníka nahradit, ale zkrátit čas, který musí věnovat opakovanému manuálnímu popisování záznamů.
🧠 Chirurgická ontologie dává robotům společný jazyk
Pro spolehlivou chirurgickou AI nestačí mít mnoho hodin videa. Model potřebuje přesně vědět, co jednotlivé události znamenají. To vyžaduje chirurgickou ontologii, tedy společný systém pojmů, kategorií a vztahů.
V praxi může ontologie popisovat například:
- anatomické struktury viditelné v operačním poli,
- chirurgické nástroje a jejich aktuální roli,
- jednotlivá gesta, například uchopení, tah, řez, suturu nebo zavázání uzlu,
- fáze operačního výkonu,
- bezpečnostní limity a kritické oblasti.
Filippo Filucori, chirurg a vedoucí programu robotické chirurgické specializace v Lenox Hill v rámci Northwell Health, zdůraznil význam chirurgických gest. Právě gesta tvoří důležitý základ pro video-jazykově-akční modely. Robot musí nejen vidět nástroj a tkáň, ale také chápat, zda chirurg právě provádí trakci, připravuje steh, zavádí jehlu nebo uzavírá uzel.
Taková standardizace může zlepšit vyhledávání v datech i vývoj specializovaných modelů. Vývojář by pak nemusel ručně procházet velké množství záznamů, aby našel relevantní situaci. Mohl by vyhledat konkrétní výkon, gesto nebo rizikovou událost a použít přesně vybranou sadu pro trénink.
Jako praktický příklad se objevila anotace struktur důležitých při operaci kýly. V označeném záznamu lze vyznačit anatomické orientační body, velké cévy i cílové místo pro správné umístění síťky. Pro chirurga jsou tyto informace součástí klinického rozhodování. Pro model představují základ situačního povědomí.
🧪 Simulace mění chirurgický výcvik
Simulace jsou v chirurgii známým nástrojem, jejich možnosti však rychle rostou. Klasické simulátory obvykle vytvářejí scénu výpočtem jednotlivých obrazových prvků a fyzikálních interakcí. Jde o užitečný přístup, ale velmi detailní simulace měkkých tkání, krvácení, deformací a kontaktu nástroje s tělem je výpočetně i technicky náročná.
Nové metody propojují skutečná data, generativní modely a kinematiku robotu. Místo ručního vytváření každého detailu scény může systém začít realistickým obrazovým základem a následně předvídat změny podle pohybu nástrojů. U chirurgického prostředí je důležité, aby simulace dokázala zachytit vztah mezi akcí robotu a reakcí tkáně.
Filucori popsal směr, v němž se první obraz operační situace stává výchozím bodem a kinematická data řídí následný průběh simulace. Pro modelování interakce nástroje s tkání se využívají různé přístupy včetně gaussovských reprezentací. Dlouhodobou ambicí je vytvořit věrohodnější prostředí pro výcvik chirurgů i robotických systémů.
To je důležité také z etického hlediska. Chirurgové se samozřejmě vzdělávají pod dohledem, ale simulace může posunout velkou část nácviku mimo situace, kdy se pracuje na skutečném pacientovi. Čím lépe lze procvičit koordinaci, suturu, práci s nástroji a reakce na komplikace v simulovaném prostředí, tím lépe připravený může být tým při klinickém výkonu.
Digitální trénink navíc umožňuje bezpečně opakovat vzácné a rizikové scénáře. Kritická situace nemusí nastat desetkrát v reálném provozu, aby se na ni systém nebo chirurg mohl připravit. Lze ji vytvořit v simulaci, parametricky měnit a využít při hodnocení odolnosti modelu.
🤖 Od jednotlivých stehů k autonomním chirurgickým funkcím
Axel Krieger z Johns Hopkins University a společnosti Semaphore Surgical představil vývoj autonomní robotické chirurgie od malých dovedností až po části celých výkonů. Jeho hlavní teze zní jednoduše: tradiční modelové řízení má své limity, zatímco modely založené na učení z demonstrací mohou s více daty postupně získávat nové dovednosti.
U klasického přístupu je třeba detailně modelovat prostředí, sledovat tkáň ve třech rozměrech, plánovat pohyb a často vytvářet specializovaný hardware. Výsledek může být předvídatelný, ale obtížně se přenáší na nové procedury. V chirurgii se navíc podmínky neustále mění.
Imitační učení postupuje jinak. Expert předvede výkon na robotickém systému. Systém zaznamená obraz i kinematiku, tedy pohyby, polohy a chování nástrojů. Následně se model učí vytvářet vhodnou akci z vizuálního vstupu a kontextu situace.
Na platformě da Vinci Research Kit byly takto řešeny základní dovednosti:
- zvednutí tkáně,
- uchopení jehly,
- předání jehly mezi nástroji,
- zavázání uzlu.
Některé z těchto úloh dosáhly v laboratorním nastavení velmi vysoké úspěšnosti. Důležité je, že chování nebylo pevně naprogramováno jako sled přesných kroků. Pokud například došlo k vychýlení šicího vlákna z úchopu, systém dokázal situaci opravit a úkol dokončit. Tato schopnost reagovat na narušení je pro práci v reálném fyzickém světě zásadní.
Hierarchické řízení pro složitější fáze výkonu
Další krok vedl k cholecystektomii, tedy odstranění žlučníku. Konkrétně se výzkum zaměřil na fázi klipování a přerušení žlučovodu a cystické tepny. Pro trénink vznikl soubor dat z opakovaných výkonů na ex vivo prasečích žlučnících.
Zde se využívá hierarchická politika. Vyšší úroveň vyhodnocuje historii obrazu a určuje, v jaké fázi zákroku se robot nachází, co má následovat a zda je zapotřebí korekce. Nižší úroveň pak provádí konkrétní pohyby nástrojů.
Výhodou je lepší srozumitelnost i možnost zásahu chirurga. Systém může uvést, jakou akci zamýšlí provést, například umístit klip nebo přejít k řezu. Chirurg tak nemusí pouze pasivně dohlížet na černou skříňku. Může lépe pochopit stav procesu a zasáhnout, pokud je to nutné.
V popsaném ex vivo modelu systém samostatně provedl klipování a řez v cílové fázi výkonu. Jde o významnou ukázku, nikoli o důkaz připravenosti pro rutinní klinickou autonomii. Mezi laboratorním modelem a zákrokem na pacientovi leží rozsáhlé testování, validace, regulační procesy a bezpečnostní požadavky.
📚 Open data mohou urychlit výzkum chirurgické AI
Jedním z nejdůležitějších oznámení bylo zveřejnění rozsáhlé datové sady OpenArm. Obsahuje více než 150 000 trajektorií s kinematickými daty a představuje velký zdroj pro vývoj chirurgických robotických modelů.
Rozsáhlé otevřené datové soubory mohou snížit bariéru pro univerzity, nemocnice a menší technologické týmy. Místo budování celé datové infrastruktury od nuly mohou začít s robustnějším základem a své úsilí zaměřit na konkrétní klinický problém.
Takový základ je přínosný i pro přenos dovedností mezi různými robotickými platformami. Pokud se model naučí obecné principy práce s nástroji, obrazem a pohybem, může být následně doladěn pro konkrétní systém nebo specializovaný úkon.
Výsledky ukázaly, že model Groot N1.6, natrénovaný na rozsáhlém souboru a následně doladěný na datech SutureBot, dokázal provádět end-to-end suturu. V počátečních testech překonal dosavadní výsledky pro daný úkol a k dosažení dobré výkonnosti potřeboval jen část dostupných dat pro šití.
To naznačuje důležitý princip foundation modelů: nejprve se model učí na širokém souboru dat obecnější souvislosti, poté se specializuje na konkrétní činnost. Ve zdravotnictví by tento přístup mohl snížit množství dat, které je nutné získat pro každou novou aplikaci samostatně.
🌍 World modely a syntetická data rozšiřují klinické scénáře
Největší slabinou reálných dat bývá jejich omezený rozsah. Nemocnice nemůže jednoduše vytvořit tisíce variant stejného výkonu jen proto, aby pokryla různé úhly kamer, polohy pacientů, konfigurace přístrojů, osvětlení nebo neobvyklé komplikace.
Právě zde přicházejí na řadu world foundation models a generativní modely. Ty mohou vytvářet realisticky působící obrazová data a rozšiřovat sadu scénářů. Model Cosmos byl použit například k tvorbě videí, která se podobají skutečným chirurgickým záznamům a mohou sloužit k testování politik robotu.
Generovaný obraz však není automaticky klinicky správný. U zdravotnických aplikací nestačí, aby simulace vypadala věrohodně lidskému oku. Musí také odpovídat fyzice, anatomii, vlastnostem nástrojů a bezpečnostním podmínkám. Proto je nutné generativní modely dolaďovat reálnými daty a jejich výstupy důsledně ověřovat.
Vývojáři otevřeně ukázali, že tato technologie je stále ve vývoji. V jednom případě model do obrazu chirurgického robotu doplnil ruce, které skutečný robot vůbec nemá. Jde o připomínku, že generativní AI může vytvářet vizuálně přesvědčivé, ale fakticky chybné prvky. V bezpečnostně kritické oblasti musí být podobné chyby odhaleny před použitím modelu v klinickém pracovním toku.
🛠️ Maestro ukazuje cestu od simulace k operačnímu sálu
Systém Maestro představuje dvouramennou robotickou platformu na pojízdné základně, která pracuje s běžnými laparoskopickými nástroji. Jejím současným účelem je držení a polohování instrumentů. Chirurg může nástroj uchopit, ručně ho přesunout do požadované pozice a po uvolnění jej nechat robotem stabilně držet.
Praktickým příkladem pokročilejší funkce je ScopePilot. Když chirurg pohybuje nástrojem v jedné ruce, kamera jej automaticky sleduje. Chirurg tak získává možnost nepřímo ovládat tři instrumenty dvěma rukama.
Maestro byl od začátku koncipován jako systém s vysokým výpočetním výkonem přímo u lůžka. Zpracovává laparoskopické video zevnitř těla, data ze stereoskopických hloubkových kamer snímajících prostředí kolem pacienta i údaje z přesných silových senzorů robotických ramen. Lokální výpočetní infrastruktura umožňuje reagovat rychleji a podporuje provoz senzorově bohatých aplikací.
Každý operační sál je ale trochu jiný. Liší se postel, výška pacienta, poloha lůžka, uspořádání prostoru, konfigurace ramen, osvětlení i rouškování. Po téměř 3 000 provedených procedurách je zřejmé, že samotné shromažďování dat z reálných výkonů by k pokrytí všech variant nestačilo.
Proto se pro optimalizaci rozložení ramen používá simulace v prostředí Isaac for Healthcare. Model systému běží s plným softwarovým stackem včetně uživatelského rozhraní. Vývojáři mohou měnit polohu robotu vůči lůžku, výšku a úhel postele, barvu roušek či další parametry a sledovat, jak se systém chová.
Cílem je, aby robot dokázal vnímat aktuální scénu a navrhnout optimální pracovní pozici. První bezpečnější krok může mít podobu tlačítka v rozhraní. Pokud systém rozpozná vhodnou situaci a vyhodnotí doporučenou konfiguraci, nabídne posádce možnost optimalizaci potvrdit. Teprve po souhlasu se ramena přesunou do navržené polohy.
Tento přístup je důležitý, protože zachovává lidskou kontrolu a postupuje od úloh s nižším rizikem k náročnějším funkcím. V regulovaném prostředí je to realističtější cesta než snaha o okamžitou plnou autonomii.
🦴 Ortopedická robotika potřebuje jinou architekturu
Robotika pro měkké tkáně a robotika pro kosti mají odlišné požadavky. U laparoskopické chirurgie se často používá vzdálené ovládání více ramen z konzole. V ortopedii, chirurgii páteře a práci s dlouhými kostmi jsou nástroje větší, síly vyšší a dominantní architektura obvykle využívá jedno robotické rameno spolu s navigační kamerou.
Yossi, zakladatel a generální ředitel společnosti LEM Surgical, upozornil na limity takového uspořádání. Jedno rameno může dobře asistovat při relativně jednoduchých úkonech, jako je vrtání nebo vedení řezu. Pro složitější manipulaci je však omezené.
LEM Surgical proto vyvíjí humanoidní architekturu horní části těla se dvěma operačními rameny a třetím ramenem pro dynamické vidění. Jedno rameno může například stabilizovat kost a monitorovat její polohu, zatímco druhé provádí frézování nebo jiný chirurgický úkon. Systém má využívat více kamer a senzorů, aby měl lepší přehled o situaci.
Důležitou vlastností má být také nezávislost na konkrétních nástrojích a implantátech. V ortopedickém výkonu se používají stovky instrumentů od různých dodavatelů. Robot, který umí pracovat pouze s vlastním proprietárním nástrojem, může být pro klinický provoz značně omezující.
👥 Robot se musí naučit spolupracovat s celým týmem
Autonomie ve zdravotnictví není jen otázkou přesného pohybu nástroje. Robot musí rozumět lidem a pravidlům pracovního prostředí. V ortopedickém sále může kolem stolu pracovat pět až deset osob. Někteří členové týmu jsou ve sterilním poli, jiní nejsou. Některé nástroje jsou ostré, některé pohyblivé a jiné mají být robotem bezpečně předány či rozpoznány.
Takové prostředí nelze snadno popsat dlouhým seznamem ručně vytvářených pravidel. Počet proměnných rychle roste a klasická rozhodovací matice se stává neškálovatelnou. AI a simulace zde mohou pomoci vytvořit základní „chování“ robotu ještě před jeho prvním nasazením na sále.
Robot by se měl učit například:
- rozlišovat sterilní a nesterilní prostor,
- udržovat bezpečnou vzdálenost od personálu,
- vnímat polohu nástrojů a jejich potenciální riziko,
- předvídat pohyb lidí v okolí,
- koordinovat více ramen bez kolizí,
- reagovat na zásah chirurga nebo člena týmu.
To je přesně oblast, kde digitální dvojčata a syntetická data dávají smysl. Umožňují opakovat situace, které by byly v reálném operačním provozu drahé, obtížně zaznamenatelné nebo příliš rizikové pro experimentování.
🛡️ Bezpečnost, vysvětlitelnost a regulace zůstávají rozhodující
Technologický pokrok je rychlý, ale zdravotnictví se právem pohybuje opatrně. Každý model určený pro klinické použití musí být hodnocen nejen podle toho, zda úkol zvládne, ale také podle toho, jak reaguje na chyby, neobvyklé situace a nesprávné vstupy.
Vysvětlitelnost je proto důležitá. Chirurg musí rozumět tomu, co robot navrhuje udělat a proč. Hierarchické modely, které dokážou označit aktuální fázi procedury a příští plánovanou akci, mohou nabídnout lepší možnost dohledu než neprůhledné systémy.
Bezpečné nasazení bude vyžadovat několik úrovní ochrany. AI může být středem rozhodování, kolem ní však musí fungovat další kontrolní smyčky, limity pohybu, monitorování senzorů, nouzové postupy a možnost okamžitého lidského zásahu. Základní informace o regulaci zdravotnických prostředků poskytuje také americký úřad FDA.
V praxi lze očekávat postupný vývoj:
- nejprve asistivní funkce, které šetří čas nebo zlepšují ergonomii,
- poté automatizace jasně vymezených, opakovatelných úloh,
- následně dohledová autonomie s aktivní kontrolou chirurga,
- a teprve v dlouhodobém horizontu širší autonomie na úrovni celých fází výkonu.
🔄 Data flywheel může urychlit další generaci robotů
Nejslibnější vize není jeden dokonale natrénovaný model, ale průběžný datový cyklus. Skutečná data, syntetická data a fyzikální simulace se spojí do tréninkové sady. Model se natrénuje, ověří nejprve digitálně, poté v kontrolovaném prostředí a nakonec v jasně vymezeném klinickém použití. Získané poznatky pak slouží k dalšímu zlepšení.
Tento datový flywheel může fungovat pro chirurgickou robotiku i pro neklinické systémy, například automatizaci nemocnic, logistiku, kontrolu infekcí, doručování materiálu nebo podporu péče mimo nemocniční prostředí. Základní technologický řetězec se nemění: je třeba kvalitní data, realistickou simulaci, výkonný model a přísné bezpečnostní ověřování.
Ještě nejsme ve fázi, kdy by roboti rutinně prováděli celé operace bez lidské účasti. Ukázané projekty ale dávají jasně najevo, že autonomie se bude rozšiřovat po jednotlivých funkcích. Kamera může sledovat nástroj. Robotické rameno může stabilně držet instrument. Model může pomoci s polohováním. Simulátor může připravit chirurga i systém na komplikaci, která by jinak byla vzácná.
Právě tato postupná cesta může mít pro pacienty a zdravotnické týmy největší hodnotu. Nejde o nahrazení odbornosti chirurga. Jde o vytvoření inteligentních nástrojů, které ji dokážou rozšířit, podpořit a zpřístupnit ve chvíli, kdy zdravotnictví bude potřebovat každou bezpečnou a ověřenou pomoc.
Pro další informace o vývoji AI ve zdravotnictví je možné využít také newsletter NVIDIA AI Healthcare.
