Entropická rychlost a dimenze samopodobných měr na přímce: co zůstane po odstranění shod

Infographic-style abstract fractal showing nested self-similar line segments converging with merged pathways to illustrate information surviving after identical transformations

Kolik informace skutečně vznikne, když náhodně vybírám stále menší kopie stejného útvaru? Na první pohled stačí spočítat možnosti a porovnat je s rychlostí zmenšování. Jenže různé posloupnosti voleb mohou vést k úplně stejné transformaci. A právě tady se jednoduché počítání začne rozcházet s geometrií.

Rukopis zveřejněný OpenAI předkládá obecný vzorec pro Hausdorffovu dimenzi samopodobných pravděpodobnostních měr na přímce. Jeho hlavní sdělení bych shrnul takto: nepočítat všechny zaznamenané volby, ale informaci, která přežije po sloučení přesně shodných výsledných map. Tuto informační rychlost pak stačí porovnat s průměrnou rychlostí kontrakce.

Podle tvrzení rukopisu funguje výsledek i pro systémy s různě silným zmenšováním, obracením orientace a přesnými překryvy. Nejsložitější část přitom není samotný vzorec. Je to vysvětlení, proč ani mapy, které se dostanou libovolně blízko k sobě, nemají způsobit další pokles dimenze nad rámec ztráty zachycené entropickou rychlostí.

Za podstatné považuji držet dvě věci odděleně: srozumitelnou myšlenku výsledku a technické důkazy, které ji mají podepřít. Následující výklad ukazuje obojí v přístupné podobě, ale jednoduché příklady samy o sobě obecnou větu nepotvrzují.

Obsah

🔍 Od zmenšování intervalu k pravděpodobnostní míře

Začnu intervalem, který zmenším na třetinu původní délky. Jednu kopii umístím vlevo, druhou vpravo. Náhodně vyberu jednu z nich a stejný postup zopakuji uvnitř vybrané kopie. S každým dalším krokem se oblast, ve které se nacházím, zmenšuje.

Nekonečná posloupnost levých a pravých voleb určí bod. Když tento náhodný experiment opakuji, nezískám jen množinu možných bodů. Získám také informaci o tom, jak pravděpodobné je skončit v různých částech této množiny. Právě to popisuje samopodobná pravděpodobnostní míra.

Rozdíl mezi množinou a mírou je pro celé téma zásadní. Množina odpovídá na otázku, kam lze dojít. Míra odpovídá na otázku, kolik pravděpodobnosti se nachází v určité oblasti. Dva náhodné postupy proto mohou mít stejnou množinu možných výsledků, ale odlišné rozložení pravděpodobnosti.

Dimenzi míry si pro účely tohoto výkladu představuji jako údaj o tom, jak se pravděpodobnost chová při přibližování k jemnějším měřítkům. Nestačí tedy sledovat, kolik malých intervalů vidím. Potřebuji také vědět, jaká pravděpodobnost do nich připadá.

U samopodobnosti je lákavé odhadovat tuto dimenzi z počtu větví při každém rozdělení. Takový odhad ovšem funguje jen tehdy, pokud různé větve skutečně nesou různé informace. Když dva záznamy popisují stejnou geometrickou operaci, jejich oddělené započítání výsledek uměle nafoukne.

📐 Jaký systém rukopis zkoumá

Obecné nastavení používá konečný počet afinních map na přímce. Každá má podobu jednoduchého předpisu:

fi(x) = rix + ti, přičemž 0 < |ri| < 1.

Číslo ri určuje zmenšení a případné obrácení orientace. Číslo ti určuje posunutí. Pokud je ri záporné, mapa nejen zmenšuje, ale také převrací směr. Podmínka na absolutní hodnotu zajišťuje, že jde skutečně o kontrakci, nikoli o zvětšování nebo zobrazení všech bodů na jediný bod.

Ke každé mapě patří kladná pravděpodobnost pi. Součet těchto pravděpodobností je jedna. V každém kroku se mapa vybírá nezávisle podle stejného rozdělení. Výslednou samopodobnou míru budu označovat μ.

Rozsah tvrzení je důležitý. Rukopis se neomezuje pouze na mapy se stejným poměrem zmenšení ani pouze na mapy zachovávající orientaci. Zahrnuje:

  • konečné systémy afinních kontrakcí na přímce,
  • libovolné kladné váhy se součtem jedna,
  • různé absolutní hodnoty kontrakcí,
  • kladné i záporné kontrakční koeficienty,
  • přesné shody mezi složenými mapami.

Právě poslední bod mění běžnou představu o tom, co je potřeba počítat. Náhodná historie není automaticky totéž co odlišný geometrický výsledek.

🧮 Hlavní vzorec: informace dělená kontrakcí

Podle rukopisu je Hausdorffova dimenze výsledné míry dána vztahem:

dimH μ = min{1, h / χ}.

V čitateli stojí h, entropická rychlost náhodné procházky po složených mapách. Ve jmenovateli je χ, průměrná rychlost zmenšování vyjádřená ve stejné logaritmické soustavě:

χ = ∑i pi log2(1 / |ri|).

Za nejpřístupnější interpretaci považuji poměr dvou rychlostí. Čitatel říká, kolik rozlišitelné informace přibývá v jednom kroku. Jmenovatel říká, jak rychle tentýž krok zjemňuje prostorové měřítko. Dimenze porovnává obojí.

Logaritmy o základu dva znamenají, že informaci měřím v bitech. Když mapa zmenšuje na polovinu, příspěvek do χ je jeden. Když zmenšuje na třetinu, je to log2 3. U různých kontrakcí se příspěvky zprůměrují podle pravděpodobností jejich použití.

Maximum jedna vychází z prostředí, ve kterém se pohybujeme: míra žije na přímce. Ani velké množství náhodných voleb proto nemůže podle uvedeného vzorce vytvořit dimenzi větší než jedna.

Na podobě „entropie dělená kontrakcí“ není nejzajímavější samotný podíl. Rozhodující je správná volba entropie. Rukopis do čitatele nedosazuje automaticky entropii názvů jednotlivých map, ale dlouhodobou informační rychlost jejich skutečných složenin.

🎲 Proč entropie symbolů může klamat

Pro seznam pravděpodobností pi je běžná Shannonova entropie rovna:

H(p) = −∑i pi log2 pi.

Vyjadřuje průměrnou informaci obsaženou v jednom náhodném výběru symbolu. Čím více rozlišitelných možností a čím vyrovnanější jejich pravděpodobnosti, tím větší informační obsah výběr má. Pro základní orientaci může posloužit také přehled Shannonovy entropie v teorii informace.

Jenže symbol může být pouhým názvem. Pokud dvě položky seznamu představují tutéž mapu, jejich rozlišení přidává informaci o označení, nikoli o geometrii. Pro dimenzi výsledné míry není podstatné, zda jsem stejné zmenšení nazval A, nebo B.

Situace se navíc nemusí projevit hned v prvním kroku. I odlišné počáteční mapy mohou po několika složeních vytvořit tutéž výslednou afinní transformaci. Informace, která vypadala jako užitečná při zapisování voleb, se pak při pohledu na skutečný výsledek ztratí.

Tady si pomáhám jednoduchým rozlišením:

  • Entropie symbolů počítá nejistotu v posloupnosti zvolených názvů.
  • Entropie složených map počítá nejistotu v odlišných výsledných transformacích.

První veličina může být větší než druhá. Rozdíl není technická drobnost, ale přesně ten druh nadbytečné informace, který má nový vzorec odstranit.

🗺️ Co přesně znamená entropická rychlost map

Po n náhodných volbách označím výslednou složenou afinní mapu Gn. Její identita zahrnuje celý předpis: výsledný koeficient u x včetně znaménka i výsledné posunutí. Nestačí tedy porovnat jen velikost intervalů nebo jejich přibližnou polohu.

Pokud několik různých slov délky n vytvoří stejnou mapu, jejich pravděpodobnosti se sečtou. Tím vznikne konečné pravděpodobnostní rozdělení na skutečně odlišných mapách. Jeho Shannonovu entropii označím H(Gn).

Entropická rychlost je potom:

h = limn→∞ H(Gn) / n.

Jinými slovy: vezmu informaci v celém bloku n kroků, vydělím ji délkou bloku a sleduji dlouhodobý průměr. Nejde o informaci v jediném kroku izolovaně. Jde o to, kolik informace na krok zůstává po všech shodách, které se mohou ukázat až při skládání.

Proč limita existuje? Blok n + m kroků lze sestavit ze dvou nezávislých blokových map. Výsledná složenina je funkcí této dvojice. A použití funkce nemůže vytvořit více entropie, než kolik bylo v jejích vstupech.

Proto platí subaditivita:

H(Gn+m) ≤ H(Gn) + H(Gm).

Z ní plyne existence limitního podílu, který se zároveň rovná infimu všech konečných podílů H(Gn)/n. Za důležité považuji, že h není neurčitá představa „zbývající informace“. Má přesnou definici a stabilní dlouhodobý význam.

🌿 Přesný příklad: tři názvy, ale jen dvě možnosti

Nejčistší ukázku poskytuje konstrukce s levou a pravou třetinou intervalu. Levou mapu pojmenuji dvakrát: A a B. Každému z těchto názvů přiřadím pravděpodobnost 1/4. Pravou mapu pojmenuji C a její pravděpodobnost bude 1/2.

Formálně tedy vybírám ze tří symbolů. Jejich entropie vychází na:

H(p) = 1,5 bitu na volbu.

Geometricky však A a B dělají přesně totéž. Když jejich pravděpodobnosti sloučím, dostanu levou mapu s pravděpodobností 1/2 a pravou mapu s pravděpodobností 1/2. Z hlediska výsledného bodu jsem nepřidal třetí možnost.

Po n krocích zůstává 2n odlišných levopravých slov. Každému odpovídá pravděpodobnost 2−n. Příslušné intervaly jsou oddělené, takže jde skutečně o odlišné mapy. Entropie jejich rozdělení je přesně n bitů, a tudíž h = 1.

Všechny mapy zmenšují na třetinu, proto χ = log2 3. Vzorec dává:

dimH μ = 1 / log2 3 ≈ 0,631.

Na tomto příkladu je dobře vidět, proč bych do výpočtu nevkládal automaticky symbolovou entropii 1,5. Pouhé přejmenování jedné volby nemůže změnit míru. Výsledek musí záviset na skutečném náhodném geometrickém procesu, nikoli na počtu položek v jeho slovníku.

🔗 Přesné shody vznikají i z různých map

Duplicitní názvy jsou názorné, ale problém nekončí jejich odstraněním. Uvažuji tři různé mapy, všechny se zmenšením na polovinu:

  • f0(x) = x/2,
  • f1(x) = x/2 + 1/4,
  • f2(x) = x/2 + 1/2.

Žádné dvě z nich nejsou stejné. Přesto po dvou krocích vznikne shoda. Když použiji f2 a potom f0, dostanu:

f0(f2(x)) = x/4 + 1/4.

Když naopak použiji f0 a potom f1, vyjde:

f1(f0(x)) = x/4 + 1/4.

Dvě různé historie tedy končí totožnou mapou. Jejich pravděpodobnosti se při sestavování rozdělení G2 musí sečíst. Entropie výsledných map už nerozlišuje, kterou z těchto historií náhodný proces prošel.

Pořadí zde zapisuji výslovně, protože při skládání funkcí snadno vznikne zmatek. Důležitý není samotný zápis dvojice indexů, ale rovnost celých výsledných předpisů.

Tento příklad podle mě nejlépe vysvětluje, proč nestačí předem zkontrolovat seznam generátorů a odstranit stejné položky. Přesné překryvy mohou vzniknout až ve složeninách. Dlouhodobá entropická rychlost má zachytit i takové vztahy, nikoli jen duplicity viditelné na začátku.

🔬 Přesná rovnost není totéž co nepatrná vzdálenost

V definici H(Gn) je rozdíl mezi shodou a blízkostí ostrý. Dvě mapy jsou buď přesně stejné, nebo představují dva odlišné výsledky. To platí i tehdy, když se jejich posunutí liší tak málo, že je na běžném prostorovém rozlišení nedokážu odlišit.

Právě tady leží těžká část tvrzení rukopisu. Entropie přesných map rozlišuje výsledky bez ohledu na jejich vzdálenost. Dimenze míry se ale týká toho, co se děje v jemných prostorových měřítkách. Je proto potřeba propojit přesnou algebraickou informaci s informací dostupnou v malých intervalech.

Mohlo by se zdát, že extrémně blízké mapy vytvářejí další ztrátu: zůstávají sice rozdílné na papíře, ale jejich účinky se prostorově téměř slévají. Rukopis tvrdí, že taková blízkost sama o sobě nezpůsobuje dodatečný pokles dimenze mimo hodnotu zachycenou h/χ.

To není totéž jako tvrdit, že blízkost nehraje žádnou roli v důkazu. Naopak vytváří jeho hlavní překážku. Informace může být ukrytá na mimořádně jemných měřítkách a argument ji musí dokázat využít, aniž by předpokládal kladnou dolní mez vzdálenosti mezi různými mapami.

Za klíčovou hranici proto považuji tuto větu: shodné mapy se slučují, téměř shodné mapy nikoli. Celá důkazová strategie má vysvětlit, proč je právě toto rozlišení pro dimenzi dostačující.

🧱 Bloky voleb pomáhají zvládnout různé kontrakce

Jedna z užitečných částí důkazu zpracovává najednou nestejná zmenšení i záporné koeficienty. Místo jednotlivých kroků se vezme blok b symbolů. U něj se zaznamená takzvaný typ: kolikrát se objevil každý z m dostupných symbolů, bez ohledu na jejich pořadí.

Každý počet leží mezi nulou a b. Typů je proto nejvýše (b + 1)m a informace potřebná k zaznamenání typu nepřekračuje:

m log2(b + 1) bitů.

Proč je takový záznam užitečný? Jakmile znám počty použití jednotlivých map, znám také výsledný podepsaný koeficient u x. Je to součin odpovídajících mocnin ri. Násobení těchto čísel nezávisí na pořadí, takže typ určuje velikost kontrakce i její znaménko.

Po podmínění typem tak zbývá nejistota jen v posunutí. Právě tam lze hledat informaci, která bude později přenesena do prostorové entropie.

Na tomto kroku oceňuji jednoduchost základního nápadu. Různé kontrakce vypadají jako zásadní komplikace, ale jejich početní zastoupení v bloku lze popsat poměrně levně. Drahá může být informace o pořadí a jeho účinku na posunutí, nikoli informace o samotném seznamu četností.

Tím ovšem důkaz nekončí. Blokové třídění pouze připravuje vhodné rozdělení, na kterém se dají použít další informační odhady.

📦 Logaritmická cena za typ se postupně ztrácí

Vztah mezi typem a mapou lze vyjádřit pomocí podmíněné entropie. Zaznamenat typ i výslednou mapu odhalí alespoň tolik informace jako zaznamenat samotnou mapu. Odtud plyne dolní odhad entropie mapy po podmínění typem:

H(Gb | typ) ≥ H(Gb) − H(typ).

Protože h je infimum podílů blokových entropií, platí H(Gb) ≥ bh. Po spojení s odhadem počtu typů vychází:

H(Gb | typ) ≥ bh − m log2(b + 1).

Podmíněný koeficient u x už je pevný, takže tento odhad popisuje průměrnou zbývající informaci v posunutí. Na jeden symbol připadá alespoň:

h − m log2(b + 1)/b.

Poslední člen s rostoucí délkou bloku míří k nule. Cena za sdělení typu roste jen logaritmicky, zatímco hlavní informační člen bh roste lineárně.

Za praktický význam tohoto výpočtu považuji následující: důkaz může sjednotit kontrakční chování uvnitř jednotlivých typů a přitom neztratit podstatnou část dlouhodobé entropické rychlosti. Ve velkých blocích zůstává téměř celá informace h na krok k dispozici v posunutích.

Je důležité nezaměnit dvě úrovně odhadu. Pro celý blok je ztráta nejvýše m log2(b + 1) bitů. Teprve po vydělení b dostanu cenu na jeden symbol, která mizí.

⚖️ Důkaz sporem hledá informaci v malých buňkách

Další část strategie začíná předpokladem, že dimenze μ je menší než hodnota navržená vzorcem. Rukopis má tento nesoulad převést na situaci, kdy v mimořádně malých buňkách prostorové mřížky zůstává skrytá informace o možných posunutích.

Pomocí odhadu pro konečná pravděpodobnostní rozdělení se tato informace zachycuje prostřednictvím vážených vyvážených dvojic. Každá taková dvojice představuje dvě možnosti posunutí se stejnou hmotností uvnitř dvojice.

Neznamená to, že původní rozdělení všech posunutí musí být rovnoměrné. Podstatná je možnost pracovat s vhodně váženými složkami, v nichž jsou dvě alternativy vyrovnané. Taková dvojice poskytuje přehledný zdroj nejistoty, který lze porovnávat s prostorovou entropií.

Dvojice přitom mohou být od sebe vzdálené na nepředstavitelně jemných měřítkách. Argument nepožaduje společnou kladnou dolní mez jejich vzdálenosti. To přímo navazuje na problém téměř shodných map.

Současně se používá druhý prvek: samopodobná míra s dimenzí menší než jedna má jednotný entropický deficit v oknech odpovídajících jednomu bitu změny měřítka. Vhodně přizpůsobená vyvážená dvojice proti tomuto deficitu vytváří kladný přírůstek entropie.

Moje intuitivní čtení je jednoduché: jestliže míra v určitém smyslu nevyužívá všechnu dostupnou prostorovou informaci, vhodná náhodná alternativa jí část informace přidá. Technické odhady musí přesně určit, kdy a v jakém měřítku je tento přírůstek zaručen.

🧩 Proč záleží na podmínění budoucnosti

V důkazové strategii se objevuje detail, který snadno zanikne při příliš rychlém vysvětlování. Náhodnou konstrukci lze rozdělit na dosavadní blok voleb a nepozorovanou budoucnost. Jakmile část náhodnosti podmíním, pracuji s jiným rozdělením než na začátku.

Není proto správné automaticky tvrdit, že každá jednotlivá podmíněná budoucí část má stejný entropický deficit jako původní samopodobná míra. Rukopis takovou vlastnost jednotlivým podmíněným pokračováním nepřisuzuje.

Důležité je nepozorovanou budoucnost znovu zprůměrovat, aby se argument vrátil k původní míře μ. Teprve na této úrovni lze využít vlastnost, kterou důkaz potřebuje.

Tenhle bod bych nepřeskakoval, i když nepůsobí tak efektně jako hlavní vzorec. Podmínění není jen způsob, jak si rozdělit výpočet na menší části. Mění dostupnou informaci a může změnit i vlastnosti rozdělení, na které se odvolávám.

Pro srozumitelný výklad z toho plyne obecná opatrnost: tvrzení o celku nelze bez dalšího přenést na každý jeho podmíněný díl. Zde je nutné provést návrat k původnímu průměru, jinak by argument o přírůstku entropie používal deficit na místě, kde nebyl zaručen.

Právě podobné kroky oddělují přitažlivou intuici od skutečného důkazu. Myšlenka „přidám nejistotu, a tím získám entropii“ potřebuje přesně určené rozdělení, vůči kterému se přírůstek měří.

📚 Stejnou informaci nelze započítat dvakrát

Poslední velkou překážkou je evidence přírůstků. Pokud dva zdánlivě odlišné kroky čerpají ze stejné informace, nemohu jejich přínosy prostě sečíst. Výsledné číslo by vypadalo přesvědčivě, ale počítalo by tutéž věc několikrát.

Rukopis tomu čelí postupným výběrem délek bloků. Další délka se volí až poté, co jsou známá jemná pásma měřítek spojená s předchozími kroky. Zachovaná bloková okna se tak uspořádají jako disjunktní, tedy navzájem oddělená.

Jejich entropické přírůstky se potom dají skládat teleskopicky. Dílčí rozdíly na sebe navazují a celkový přírůstek při pevném pozorovacím měřítku má mez, která nezávisí na tom, kolik pásem bylo zvoleno.

Na druhé straně zprůměrování přes pozorovací měřítka přináší pevný kladný příspěvek od každého pásma. Pokud by bylo možné vybrat libovolně mnoho takových pásem, součet by nakonec překročil uvedenou pevnou mez.

Tím vzniká spor s původním předpokladem příliš malé dimenze. Nejde ale jen o slovní argument „mnoho malých přínosů dá velký přínos“. Rozhodující je právě důkaz, že přínosy nejsou opakovaným využitím stejné informace.

Za jádro celé důkazové mapy proto považuji propojení tří prvků: nalezení skryté informace, její přeměnu na kladný prostorový přírůstek a důsledné oddělení měřítek, na kterých se tento přírůstek započítává.

✅ Co se vrací bez přesných překryvů

Pokud žádná dvě různá slova nepředstavují stejnou výslednou mapu, informace o historii se při přechodu k mapám neztrácí. Každé slovo zůstává samostatným výsledkem.

V takovém případě je entropie po n nezávislých volbách rovna n násobku obyčejné symbolové entropie. Proto:

h = H(p).

Obecný vzorec se tím vrací ke známé podobě:

dimH μ = min{1, H(p) / χ}.

To je podle mě důležitá kontrola smysluplnosti. Nová veličina nenahrazuje běžnou entropii tam, kde je běžná entropie správná. Pouze ji upravuje v situacích, kdy různé historie splývají do stejné transformace.

S přesnými překryvy tedy používám h, bez nich se h rovná H(p). Oba případy se vejdou do jediného vztahu. Rozhodující není počet napsaných slov, ale počet a pravděpodobnosti geometricky odlišných výsledků.

Znovu přitom rozlišuji nepřítomnost přesných shod od dobrého prostorového oddělení. Dvě mapy mohou být rozdílné a zároveň extrémně blízké. Tvrzení rukopisu má pokrývat i tuto situaci, což je mnohem silnější než samotný výpočet u hezky oddělených třetinových intervalů.

⚠️ Co výsledek netvrdí a kde jsou jeho hranice

Výsledek o dimenzi není automaticky výsledkem o všech vlastnostech míry. Zejména dimenze jedna neznamená, že míra má hustotu. Rukopis tímto vzorcem netvrdí absolutní spojitost.

Tohle omezení považuji za zásadní, protože hodnota jedna může svádět k představě běžného rozložení pravděpodobnosti po přímce. Dimenze však zachycuje konkrétní aspekt chování při změně měřítka. Sama o sobě neposkytuje všechny informace o tom, jak lze míru popsat vůči délce.

Stejně důležité je nepřeceňovat přesné příklady. Výpočet s dvojím názvem levé mapy ověřuje, že vysvětlení správně zachází s duplicitami. Dvojice složenin s kontrakcí na polovinu ukazuje, jak vzniká netriviální shoda. Ani jeden výpočet ale nenahrazuje důkaz pro všechny konečné systémy v uvedeném rozsahu.

Podrobné odhady, podmínění a oddělování měřítek jsou obsaženy v původním matematickém rukopisu OpenAI. Při hodnocení obecného tvrzení bych se opíral právě o tyto části, nikoli jen o atraktivní podobu výsledné rovnice.

Také bych rozlišoval mezi oznámeným tvrzením rukopisu a jeho nezávislým ověřením. Srozumitelný výklad může pomoci pochopit, co je navrženo a proč to dává smysl. Nemůže sám potvrdit správnost všech technických kroků.

💡 Hlavní zpráva: měřit informaci, která opravdu přežila

Celé téma si nakonec skládám do jednoduchého postupu. Nejprve určím náhodné mapy a jejich pravděpodobnosti. Potom sleduji výsledky dlouhých bloků a sloučím přesně totožné složeniny. Z jejich rozdělení získám entropickou rychlost h. Tu porovnám s průměrnou kontrakční rychlostí χ.

  1. Zapsat historii nestačí. Různé záznamy mohou znamenat stejnou mapu.
  2. Přesné shody odstraňují informaci. Jejich pravděpodobnosti se musí sečíst.
  3. Blízkost není shoda. Odlišné mapy zůstávají v entropii odlišnými výsledky.
  4. Dimenze porovnává dvě rychlosti. Přeživší informaci a zjemňování prostorového měřítka.
  5. Hodnota jedna má omezený význam. Sama nezaručuje existenci hustoty.

Největší hodnotu navrženého vzorce vidím v tom, že odděluje náhodnost v označení od náhodnosti, která má skutečný geometrický účinek. Přejmenování volby nic nemění. Přesná shoda složenin naopak mění množství rozlišitelné informace, a právě proto se musí ve výpočtu projevit.

Stručná rovnice tedy stojí na náročném mostu mezi konečnými rozděleními map a nekonečnou samopodobnou mírou. Její základní myšlenka je přesto dobře uchopitelná: spočítat informaci až po odstranění přesných shod a zjistit, jak rychle ji kontrakce vtěsnává do stále menšího prostoru.

Share this post

AI World Vision

AI and Technology News