Webová aplikace už nemusí uživatele vést jen přes nabídky, katalogy a formuláře. OpenAI představuje rozšíření anotací v ChatGPT, které vývojářům umožňuje přidat k prvkům stránky vlastní ovládací prvky a nabídnout uživateli vhodné zadání pro jeho agenta. Ve spojení s nástroji WebMCP tak vzniká přímější cesta od označení konkrétního objektu k provedení požadované změny.
Novinka se týká práce s webem v prohlížeči uvnitř aplikace ChatGPT. Anotace pomáhají určit, čeho se požadavek týká, zatímco WebMCP zpřístupňuje agentovi akce, které web nabízí. Ukázané použití zahrnuje úpravu scény, výměnu položek, změnu barvy i doplnění údajů k výdajům.
Za nejdůležitější posun považuji propojení dvou různých druhů kontextu. Web zná své objekty a dostupné operace. Osobní agent může mít informace o uživateli, jeho preferencích nebo souvisejících datech, které samotná stránka nemá. Vlastní anotace pomáhají tyto dvě strany spojit s konkrétním záměrem.
Nejde tedy pouze o pohodlnější označování obsahu. Jde o způsob, jak uživateli srozumitelně ukázat, co může s agentem na webu udělat, a současně dát ChatGPT přesnější podklady pro práci.
Obsah
- 📰 Co se v anotacích ChatGPT mění
- 🛠️ WebMCP dává agentovi možnost jednat
- 📍 Anotace upřesňují, čeho se požadavek týká
- 🎛️ Vlastní ovládací prvky ukazují dostupné možnosti
- 🛋️ Úprava scény bez ručního hledání a přesouvání
- 🧾 Doplnění výdajů pomocí kontextu osobního agenta
- 🧠 Proč je kontext uživatele tak důležitý
- 💬 Navrhovaná zadání pomáhají objevit užitečné postupy
- ⚙️ Jakou roli mají HTML atributy a JavaScript
- 🧩 Tři vrstvy, které je vhodné navrhovat společně
- 🧭 Co si z novinky mohou odnést vývojáři
- 🔎 Co oznámení potvrzuje a co zatím neupřesňuje
- 🚀 Od označení na stránce k dokončenému úkolu
📰 Co se v anotacích ChatGPT mění
Základní princip anotací je jednoduchý: uživatel označí něco konkrétního na stránce a požádá ChatGPT o změnu. Nemusí tak slovně popisovat, na který objekt, položku nebo část rozhraní odkazuje. Výběr na stránce poskytuje požadavku konkrétní cíl.
Rozšíření přidává vývojářům možnost tento postup přizpůsobit. Místo obecného označení mohou připravit vlastní ovládání odpovídající danému objektu. V jednom případě to může být nabídka podobných položek, v jiném výběr barvy. Anotace tak není jen ukazatel, ale také místo, kde se uživatel dozví o dostupných možnostech.
Druhou součástí jsou navrhovaná zadání pro ChatGPT. Vývojář může anotaci vyvolat programově a spojit ji s návrhem, který uživatele nasměruje ke smysluplné činnosti. Tato možnost pomáhá zejména tam, kde přínos agenta není na první pohled zřejmý.
Vnímám tu důležitý rozdíl mezi dostupností funkce a její srozumitelností. Web může určitou akci technicky nabízet, ale uživatel nemusí vědět, že ji lze provést přes ChatGPT. Vlastní ovládací prvek nebo vhodně formulovaný návrh zadání tuto mezeru zmenšuje.
Oznámení současně staví na podpoře nástrojů WebMCP v aplikaci ChatGPT. Vývojář tedy nemá jen vysvětlit, co by se mohlo stát. Může propojit vybraný objekt a uživatelský požadavek s akcí, kterou agent na webu skutečně provede.
🛠️ WebMCP dává agentovi možnost jednat
WebMCP v představeném použití označuje způsob, jak web zpřístupní agentům své nástroje. Jde o konkrétní akce, například prohledání katalogu nebo aktualizaci něčeho na stránce. ChatGPT je pak může využít při plnění uživatelského požadavku.
Pro pochopení celé novinky si odděluji dvě otázky. První zní: Co má agent udělat? Druhá: Jakou akci mu web umožňuje provést? Anotace pomáhají s první otázkou, nástroje WebMCP především s druhou.
Pokud uživatel vybere objekt ve scéně a chce jej vyměnit, výběr určuje cíl. Vlastní ovládání může naznačit, že se nabízí náhrada podobnou položkou. Nástroj zpřístupněný webem pak zajišťuje možnost příslušné změny. Každá část má jinou úlohu, ale společně vytvářejí souvislý postup.
Stejný princip se objevuje u výdajů. Označení konkrétního záznamu ještě samo o sobě nezmění jeho metadata. Agent potřebuje dostupnou akci, kterou výsledné údaje do aplikace doplní. Právě zde vstupuje do hry nástroj poskytovaný webem.
- Webová aplikace vymezuje objekty a operace, se kterými lze pracovat.
- Anotace ukazuje, ke kterému prvku se požadavek vztahuje.
- Vlastní ovládání nebo návrh zadání pomáhá vyjádřit požadovanou změnu.
- Agent v ChatGPT propojuje záměr s dostupnými nástroji a relevantním kontextem.
Za podstatné považuji, že anotace WebMCP nenahrazují. Rozšiřují způsob, jak se uživatel k jeho možnostem dostane. Bez tohoto rozlišení by se snadno směšovalo označení objektu, formulace požadavku a samotné provedení akce.
📍 Anotace upřesňují, čeho se požadavek týká
Při práci s webovou aplikací bývá část záměru zřejmá z místa, na které člověk klikne. Samotná věta tuto informaci nemusí obsahovat. Anotace přenáší vybraný prvek do spolupráce s ChatGPT a omezuje potřebu složitě popisovat jeho umístění nebo vzhled.
Rozšířené anotace přidávají ještě další vrstvu: kontext toho, co chce uživatel s označeným prvkem provést. Kliknutí na objekt a otevření nabídky podobných položek sděluje něco jiného než kliknutí na barevnou vlastnost a otevření výběru barvy.
V obou případech zůstává důležitý konkrétní cíl, ale zpřesňuje se také povaha změny. ChatGPT tak získává další informace o tom, na co uživatel ukazuje a jakou činnost zamýšlí. To je přínos, který jde nad rámec pouhého vizuálního zvýraznění.
Za užitečné považuji i to, že vývojář nemusí všechny možnosti prezentovat stejným způsobem. Ovládání může odpovídat významu dané části aplikace. U výměny položky je přirozená nabídka alternativ. U změny barvy dává smysl výběr barvy. U doplnění výdaje může být vhodnější návrh zadání.
Anotace proto chápu jako kontextové rozhraní mezi webem a agentem. Jejich úkolem není vysvětlit celou aplikaci najednou, ale zpřístupnit relevantní možnosti tam, kde uživatel právě pracuje. Tím se objevování funkcí propojuje s konkrétním úkolem místo s obecnou nápovědou.
🎛️ Vlastní ovládací prvky ukazují dostupné možnosti
V představené scéně se po výběru objektu v režimu anotací objeví vlastní ovládání pro výměnu za podobnou položku. Jinde se zobrazí výběr barvy. Obě možnosti vycházejí z kódu samotného webu, nikoli pouze z obecného chování ChatGPT.
To je pro vývojáře důležitá změna odpovědnosti. Web nemusí čekat, zda uživatel správně odhadne vhodný požadavek. Může mu ukázat podporovanou cestu přímo u označeného objektu a dát agentovi doplňující kontext.
Současně bych tuto možnost nepovažoval za důvod převádět celé rozhraní do konverzace. Ukázka spíše propojuje vizuální výběr s agentovou schopností jednat. Uživatel může využít srozumitelný ovládací prvek a přitom se vyhnout některým ručním krokům, které by jinak následovaly.
Rozdíl dobře vystihují dvě nabízené operace:
- Výměna za podobnou položku pomáhá vyjádřit záměr zachovat určitý vztah k původnímu objektu a zároveň jej změnit.
- Výběr barvy zpřesňuje konkrétní vlastnost, kterou má agent upravit.
Vlastní ovládání tak neslouží jen jako další nabídka. Překládá možnosti aplikace do podoby, kterou lze spojit s požadavkem na ChatGPT. Za silnou stránku tohoto přístupu považuji právě jeho místní srozumitelnost: uživatel řeší vybraný objekt, ne seznam všech funkcí webu.
🛋️ Úprava scény bez ručního hledání a přesouvání
První příklad se soustředí na aplikaci, ve které lze upravovat scénu pomocí položek z katalogu. Běžná cesta zahrnuje vyhledání vhodného objektu a jeho ruční přesunutí na správné místo. Agent může část této práce převzít prostřednictvím nástrojů WebMCP.
Samotná možnost požádat ChatGPT o úpravu scény přitom existuje už díky nástrojům. Nové anotace přidávají hlavně lepší představu o tom, co je možné. Uživatel nemusí začínat od prázdného zadání a přemýšlet, které změny aplikace podporuje.
Výběr objektu jako začátek změny
Když uživatel v režimu anotací vybere položku ve scéně, vlastní ovládací prvky nabídnou snadný způsob její výměny za podobné objekty. Výběr tím propojí konkrétní položku s konkrétním typem úpravy.
Za praktický přínos považuji zkrácení vzdálenosti mezi rozhodnutím a akcí. Záměr změnit objekt se nemusí nejprve převést na samostatné hledání v katalogu a následné přetahování. Uživatel označí cíl a využije dostupnou možnost spolupráce s agentem.
Neznamená to, že katalog přestává být důležitý. Právě jeho obsah může být součástí práce, kterou agent provádí. Rozdíl spočívá v tom, kdo jednotlivé kroky vykonává a jak je uživatel zahajuje.
Barva jako přesněji vymezený požadavek
Další vybraný prvek nabízí výběr barvy. Tento příklad ukazuje, že rozšíření nemusí vždy vést k hledání jiného objektu. Může pomoci upravit jednu vlastnost toho stávajícího.
Vnímám zde dvě odlišné potřeby: někdy chce člověk nahradit položku, jindy pouze změnit její vzhled. Vlastní anotace mohou tento rozdíl zpřístupnit přímo v rozhraní. Agent tak dostává jasnější podklady pro odpovídající akci.
Celá ukázka stojí na spolupráci vizuálního výběru, webových nástrojů a požadavku. Žádná z těchto částí sama nevysvětluje celý přínos. Teprve jejich propojení umožňuje, aby práce se scénou byla zároveň konkrétní, srozumitelná a proveditelná přes ChatGPT.
🧾 Doplnění výdajů pomocí kontextu osobního agenta
Druhý příklad přesouvá pozornost od vizuální úpravy k práci s informacemi. Aplikace obsahuje seznam výdajů. U konkrétního záznamu může uživatel vyvolat anotaci s navrženým zadáním, které požádá ChatGPT o dohledání souvisejícího kontextu.
Podstatné je, že tento kontext nemusí být dostupný samotnému webu s výdaji. Agent může mít relevantní informace v prostředí a datech, ke kterým má přístup. Po jejich využití může prostřednictvím poskytnutého nástroje WebMCP doplnit odpovídající metadata k výdaji.
Za nejzajímavější část nepovažuji samotné přidání údajů, ale rozdělení práce. Aplikace ví, který záznam se má upravit a jak takovou úpravu umožnit. Agent může pomoci zjistit, jaké informace k němu patří. Anotace propojuje obě strany s konkrétním uživatelským požadavkem.
Jak na sebe jednotlivé kroky navazují
- Uživatel vybere konkrétní výdaj nebo související místo v rozhraní.
- Aplikace nabídne zadání zaměřené na dohledání kontextu k tomuto záznamu.
- ChatGPT využije relevantní informace, které má pro daný úkol dostupné.
- Poskytnutý nástroj WebMCP umožní doplnit metadata do aplikace.
Tento sled je důležitý, protože odlišuje získání informací od jejich zápisu. Navržené zadání samo o sobě metadata neukládá. Agent nejprve potřebuje relevantní podklady a potom možnost změnu provést v příslušném systému.
Ukázka také rozšiřuje představu o tom, k čemu mohou anotace sloužit. Nejde jen o změny vzhledu nebo přesouvání objektů. Stejné rozhraní může uživatele nasměrovat k doplnění významu záznamu na základě informací mimo danou stránku.
Právě tady vidím rozdíl mezi běžnou funkcí aplikace a spoluprací s osobním agentem. Web nemusí obsahovat veškeré souvislosti, aby s nimi uživatel mohl pracovat. Musí však nabídnout srozumitelný cíl a podporovanou cestu, jak výsledné údaje doplnit.
🧠 Proč je kontext uživatele tak důležitý
Představený přístup vychází z myšlenky, že osobní agent může znát uživatele v širších souvislostech než jednotlivý web. Může mít informace o jeho preferencích a přístup k dalším datům prostřednictvím připojených nástrojů či doplňků.
Jednotlivá aplikace naproti tomu pracuje především se svým vlastním prostředím. Editor scény zná scénu a dostupné položky. Aplikace výdajů zná záznamy, které spravuje. Tyto znalosti jsou nezbytné, ale nemusí zahrnovat celý kontext uživatelova záměru.
Za hlavní hodnotu propojení proto považuji spojení znalosti aplikace se znalostí uživatele. Web poskytne strukturu a akce. Agent může přispět informacemi, které nejsou na stránce přítomné, a využít je při plnění konkrétního úkolu.
Je však důležité nepřehánět rozsah této schopnosti. Z představeného použití nevyplývá, že každý agent automaticky zná všechny preference nebo může pracovat se všemi daty. Rozhodující je kontext, který má pro danou situaci skutečně k dispozici.
Stejně tak nelze zaměňovat možnost využít informace s jistotou, že potřebná informace existuje. U výdaje může agent hledat souvislosti, ale samotná anotace jejich dostupnost nezaručuje. Její úlohou je pomoci vhodnou činnost zahájit a propojit ji s cílovým záznamem.
Tento rozdíl považuji za zásadní pro přesný popis novinky. Přínosem není neomezená znalost, ale možnost smysluplně využít dostupný osobní kontext tam, kde by samotná webová aplikace měla omezenější podklady.
💬 Navrhovaná zadání pomáhají objevit užitečné postupy
Uživatel nemusí předem vědět, co lze na konkrétním webu zadat ChatGPT. Dostupné nástroje mohou podporovat užitečné činnosti, které nejsou z běžného rozhraní zřejmé. Navrhovaná zadání mají tuto možnost ukázat v souvislosti s právě vybraným prvkem.
V aplikaci výdajů například návrh směřuje k dohledání kontextu a následnému doplnění metadat. Nejde o obecnou pobídku k rozhovoru. Zadání má konkrétní účel, vztahuje se ke konkrétnímu záznamu a navazuje na konkrétní akci webu.
Za dobré vodítko pro návrh takového zadání považuji trojici otázek:
- K čemu se požadavek vztahuje? Cíl má být zřejmý z anotace a jejího kontextu.
- Jakou pomoc má agent poskytnout? Uživatel má rozumět smyslu nabízeného postupu.
- Co lze následně provést na webu? Zadání má navazovat na dostupnou a podporovanou akci.
Toto členění odvozuji z obou ukázek. Ve scéně je cílem vybraný objekt a požadovanou pomocí jeho změna. U výdajů je cílem záznam a pomoc spočívá v nalezení souvislostí, které lze využít k jeho doplnění.
Navržené zadání bych proto chápal jako součást ovládání aplikace, ne jako izolovaný textový doplněk. Jeho hodnota vzniká z návaznosti na místo, kde se uživatel nachází, a na možnosti, které web agentovi zpřístupňuje.
⚙️ Jakou roli mají HTML atributy a JavaScript
Vlastní ovládací prvky anotací jsou definovány v kódu webu pomocí HTML atributů nebo JavaScriptu. Vývojář tak může popsat chování související s konkrétními prvky stránky a také anotace programově vyvolávat.
Tato informace ukazuje, že přizpůsobení vychází ze samotné aplikace. Není nutné spoléhat jen na to, že agent odvodí vhodnou interakci z viditelné stránky. Web může dodat explicitnější kontext a nabídnout odpovídající ovládání.
Pro základní orientaci v těchto stavebních prvcích mohou pomoci dokumentace HTML atributů na MDN a průvodce JavaScriptem. Tyto odkazy vysvětlují obecné webové technologie, nikoli konkrétní rozhraní anotací ChatGPT.
Samotné představení funkce neposkytuje přesné názvy atributů, úplnou podobu volání ani implementační postup. Nepovažoval bych proto za správné odvozovat z ukázky hotový integrační kód. Jasně popsané jsou možnosti a jejich účel, nikoli všechny technické podrobnosti.
Z hlediska návrhu je nicméně zřejmé, co spolu musí souviset: prvek stránky, dostupné ovládání, kontext pro ChatGPT a nástroj schopný provést požadovanou změnu. Programové vyvolání anotace navíc dává vývojáři možnost nabídnout vhodné zadání jako součást práce s aplikací.
Za důležitou technickou zásadu považuji zachování tohoto propojení. Ovládací prvek má vysvětlovat skutečně dostupnou možnost, ne slibovat akci, pro kterou web nemá odpovídající nástroj.
🧩 Tři vrstvy, které je vhodné navrhovat společně
Celý přístup si rozděluji do tří vrstev: výběr cíle, vyjádření záměru a provedení akce. Toto členění není další technická specifikace. Je to praktický způsob, jak se vyznat v rolích jednotlivých částí a nepřehlédnout jejich návaznost.
1. Výběr cíle
Anotace určuje, s čím uživatel pracuje. Ve scéně jde o objekt nebo jeho vlastnost. V aplikaci výdajů o konkrétní záznam. Bez jasného cíle by i dobře formulovaný požadavek mohl postrádat důležitou souvislost.
2. Vyjádření záměru
Vlastní ovládací prvek nebo navržené zadání pomáhá určit požadovanou činnost. Výměna položky, změna barvy a doplnění metadat nejsou zaměnitelné úkoly. Rozhraní má jejich rozdíl zpřístupnit, nikoli nechat vše na obecném označení.
3. Provedení akce
Nástroj WebMCP umožňuje agentovi vykonat podporovanou operaci. Uživatel tak nezůstává pouze u popisu změny. Požadavek může navázat na skutečnou práci v aplikaci.
Za nejsilnější návrh považuji ten, ve kterém jsou všechny tři vrstvy konzistentní. Vybraný objekt odpovídá nabízenému ovládání a ovládání odpovídá dostupné akci. Agent pak může přidat relevantní kontext, aniž by se ztratil vztah ke konkrétnímu úkolu.
Obě ukázky tento princip ilustrují různými způsoby. Úprava scény zdůrazňuje přesný vizuální cíl. Doplnění výdaje zdůrazňuje práci s informacemi mimo samotný web. V obou případech však propojení začíná u konkrétní části aplikace.
🧭 Co si z novinky mohou odnést vývojáři
Pro vývojáře bych hlavní doporučení shrnul takto: nezačínat otázkou, kam přidat nové tlačítko, ale otázkou, kde spolupráce s agentem skutečně pomůže uživateli dokončit úkol. Představené příklady ukazují dvě taková místa: ruční úpravu scény a doplňování informací k výdajům.
Následující postup vychází z jejich společných principů. Není náhradou technické dokumentace, ale pomáhá uspořádat návrh funkce.
- Vymezit konkrétní úkol. Popsat, zda má agent měnit objekt, upravovat jeho vlastnost nebo doplňovat údaje.
- Určit jednoznačný cíl anotace. Zajistit, aby bylo zřejmé, kterého prvku nebo záznamu se požadavek týká.
- Navázat na dostupnou akci. Propojit zamýšlenou změnu s nástrojem, který web agentovi poskytuje.
- Zvolit vhodný způsob vedení uživatele. Rozhodnout, zda lépe poslouží vlastní ovládací prvek, nebo návrh zadání.
- Zvážit přínos osobního kontextu. Rozlišit, co už zná aplikace a s čím může pomoci agent.
- Držet nabídku v mezích skutečných možností. Popisovat podporované činnosti bez předpokladu, že agent vždy disponuje všemi potřebnými informacemi.
U scény má výraznou hodnotu snadné označení a zpřesnění změny. U výdaje je důležitější schopnost nasměrovat agenta k souvisejícím informacím a poté umožnit jejich využití v aplikaci. Stejný mechanismus tedy může podporovat různé potřeby, pokud zůstane pevně spojený s úkolem.
Za užitečný návrhový test považuji jednoduchou kontrolu návaznosti: rozumí uživatel tomu, co označil, co mu aplikace nabízí a jaký výsledek má následovat? Pokud tyto části nesedí dohromady, samotná přítomnost anotace nebo nástroje problém nevyřeší.
🔎 Co oznámení potvrzuje a co zatím neupřesňuje
Oznámení popisuje konkrétní možnosti: vlastní ovládací prvky anotací, jejich programové vyvolání, navrhovaná zadání a spolupráci s nástroji WebMCP v prohlížeči uvnitř aplikace ChatGPT. Současně ukazuje použití při úpravě scény a doplňování výdajových záznamů.
Neobsahuje však úplný technický návod ani podrobný přehled dostupnosti. Z představení nelze bezpečně určit všechny podporované varianty implementace, podmínky nasazení nebo pravidla pro jednotlivé akce. Tyto otázky bych při plánování integrace oddělil od popsané funkční myšlenky.
Stejnou opatrnost považuji za vhodnou u práce s osobními daty. Ukázka vysvětluje přínos kontextu, který má agent dostupný, ale nerozepisuje všechny podmínky přístupu k informacím. Není proto správné z ní vyvozovat automatický nebo neomezený přístup.
Pro přesné pochopení novinky je užitečné držet se tří potvrzených bodů:
- Web může agentovi zpřístupnit konkrétní akce.
- Vlastní anotace mohou pomoci určit cíl a nabídnout vhodný postup.
- Agent může při práci využít relevantní kontext, který má dostupný mimo samotnou stránku.
Za důležité považuji také to, že představené použití není příslibem stejného výsledku v každé aplikaci. Přínos závisí na tom, jaké nástroje web nabízí, jak srozumitelně vymezí požadavek a jaké informace má agent pro úkol k dispozici.
🚀 Od označení na stránce k dokončenému úkolu
Vlastní anotace ChatGPT ukazují posun od webu, který člověk pouze ručně ovládá, k webu, se kterým může spolupracovat jeho agent. Základní rozhraní přitom nemusí zmizet. Výběr objektu, nabídka alternativ nebo výběr barvy mohou zůstat přirozenou součástí práce.
Nová je jejich návaznost na agentovy schopnosti a na akce zpřístupněné přes WebMCP. U scény to znamená propojit konkrétní vizuální změnu s dostupnými nástroji. U výdajů propojit záznam s kontextem, který může být dostupný jinde, a následně doplnit jeho metadata.
Za hlavní přínos považuji snížení nejistoty na obou stranách. Uživatel dostává jasnější představu o tom, co může požadovat. ChatGPT získává přesnější kontext o cíli a záměru. Web poskytuje podporovanou cestu k provedení změny.
Nejzajímavější proto není samotná přítomnost dalších ovládacích prvků. Je to jejich role v souvislém postupu: označit správný prvek, vyjádřit záměr, využít dostupný kontext a provést odpovídající akci. Právě toto propojení může udělat z podpory agentů praktickou součást webové aplikace, nikoli jen další možnost skrytou mimo běžnou práci.
