9. září oznámil Jacob Coxon, výzkumník předtrénování jazykových modelů, že odchází z Anthropicu. Tři roky dělal předtrénovací výzkum, nejdřív v OpenAI, potom v Anthropicu, a jeho rozloučení mělo podobu sedmi krátkých příspěvků na X: ani jedna z obou firem nejedná odpovědně, obě běží přímo k sebezlepšující se superinteligenci a hazardují s našimi životy. Lidé, kteří tyto systémy staví, podle něj upřímně věří, že by nás mohly do konce dekády všechny zabít. Během dvou dnů nasbíralo přes sto milionů zobrazení a jeho bývalí kolegové z bezpečnostního výzkumu Anthropicu veřejně potvrdili, že obavu z existenčního rizika v tomto desetiletí sdílí i řada lidí uvnitř firem. Coxon navrhl dočasný zákaz zvyšování schopností modelů, dokud se laboratoře nedomluví na společných pravidlech.
Nepíšu tento text, abych Coxona vyvracel. V něčem podstatném má pravdu; to, co je na jeho varování špatně, není v něm, ale v rámci, ve kterém se pohybuje. Obojí je vidět teprve tehdy, když debatu o superinteligenci vyjmeme z rámce, ve kterém se vede, a vložíme ji do rámce, ve kterém se skutečně odehrává. Tím prvním je představa inteligence jako univerzální páky, kterou sdílejí technooptimisté i pesimisté. Tím druhým je fyzika, konkrétně termodynamika.
Dva tábory, jeden axiom
Veřejná debata o superinteligenci má dva tábory a působí to, jako by mezi nimi nemohla být větší propast. Jeden říká, že dostatečně chytrý systém vyřeší, co nedokážeme sami: fúzi, rakovinu, klima, chudobu, stárnutí, klima. Druhý říká, že dostatečně chytrý systém se nám vymkne, získá reálnou moc nad infrastrukturou a zdroji a buď nás odstraní úmyslně, nebo mimochodem, jako my ničíme mraveniště při stavbě dálnice. Optimisté mluví o utopii, pesimisté o vyhynutí, a přesto oba tábory stojí na tomtéž základním kameni.
Tím kamenem je předpoklad, že úzkým hrdlem civilizace je inteligence. Pokud je každý problém nakonec problémem nedostatku chytrosti, pak víc chytrosti buď všechno spasí, nebo všechno zničí, a spor se vede jen o to, které z toho to bude. Proto si obě strany tak dobře rozumějí a proto může výzkumník jako Coxon během jedné kariéry přejít od stavění těchto systémů k varování před nimi, aniž by musel změnit jediný předpoklad o tom, co je inteligence, co dokáže a co ne.
Ani nejpoctivější optimisté tento kámen nezpochybňují. Dario Amodei ve své eseji Machines of Loving Grace připouští fyzikální zákony, které inteligence neobejde, i systémy, které jsou nepředvídatelné z principu. Co jeho esej nedělá, je bilance: odkud se vezmou rudy, energie a čas na biologii, infrastrukturu a průmysl, které slibuje, a co to bude stát planetu, která je poskytne. Spor se tedy nevede o to, zda materiální meze existují, ale o to, zda je někdo spočítal.
Termodynamický pohled tento kámen odstraňuje. Úzkým hrdlem civilizace nikdy nebyla inteligence. Byly jím dostatečně koncentrované a dostupné gradienty.
Co civilizace ve skutečnosti je
Planeta vytváří gradienty: rozdíly koncentrací, teplot a chemických potenciálů, z nichž lze čerpat práci. Sluneční tok, tepelný gradient nitra, chemické gradienty v horninách. Biosféra tyto gradienty čerpá už čtyři miliardy let a dělá to zhruba tempem, jakým se obnovují, protože každý druh, který by je čerpal rychleji, by si podřezal větev dřív, než by stihl své řešení předat dál. Život kovové prvky používá, vápník ve schránkách a kostech i ve velkém, ostatní ve stopách: železo v hemoglobinu, hořčík v chlorofylu, zinek v enzymech. Téměř vždy jako ionty v minerálech a bílkovinách, při teplotě okolí; bakterie, které srážejí kovové zlato, jsou kuriozita, ne stavební strategie. Život kovy netaví a nekuje.
Pak přijde druh s dostatečně velkým mozkem na to, aby si všiml gradientů, které biosféra nečerpá vůbec nebo jen geologickým tempem. Rudné žíly. Uhelné sloje. Ropná ložiska. Tento druh chce víc než přežití: víc bezpečí, víc výkonu, víc všeho, a mozek mu umožňuje na to přijít. Začne tavit měď, pak železo, pak spálí uhlí, aby vyrobil ocel, a z oceli postaví stroj, který vytěží víc uhlí. V tu chvíli vzniká smyčka, kterou Alfred Lotka popsal už v roce 1922: systém, který získané gradienty investuje do rychlejšího získávání dalších gradientů, roste, dokud nenarazí na zeď.
Ta smyčka není stará dvě století. Je stará dvanáct tisíc let. Začala se zemědělstvím, kdy člověk poprvé čerpal gradient, který biosféra nechávala ležet: úrodnost půdy nastřádanou za tisíciletí, lesy, které padly na pole a na palivo. Pole uživila města, města postavila zavlažování a sýpky, sýpky uživily kováře, kováři vyrobili pluh, který rozoral víc půdy. Bronz, železo, uhlí, ropa jsou jen další patra téže stavby. Vše, co tento proces za dvanáct tisíc let postavil, nazývám exoskeletem. Pole a hráze, cesty a přístavy, doly, huti, elektrárny, sítě, rafinerie, továrny, satelity. Je to vnější kostra, bez níž by osm miliard lidí na planetě nemohlo být, a její nejvyšší patra jsou postavena z jednorázového balíčku fosilních paliv a koncentrovaných rud, které planeta nashromáždila za stovky milionů let a které vyčerpáme během několika staletí. Homo sapiens přitom zůstal biologickým tvorem vrostlým do biosféry. Potřebuje půdu, vodu, stabilní klima a fungující potravní řetězce, a přesně tyto věci svou činností poškozuje, protože exoskelet se staví z téhož, co drží biosféru pohromadě.
Jedna věc se v tom snadno přehlédne. I kdyby civilizace přestala růst a chtěla jen udržet, co má, exoskelet se opotřebovává a musí se obnovovat. Obnovuje se z rud, které jsou rok od roku chudší, a z energie, která je rok od roku dražší na získání, na půdě a v klimatu, které mezitím sám poškozuje. Udržet stejné služby tak stojí stále víc práce, energie a zařízení, a ta zařízení zase potřebují údržbu. Zastavení růstu spotřeby nezastaví růst nákladů na její udržení. Tak padaly civilizace dávno před uhlím, na zasolených polích Mezopotámie a odlesněných svazích Středomoří, a to je důvod, proč nestačí říct „tak zastavme”.
Smyčka je přitom rekurzivně se sebezlepšující od první sýpky; parní stroj ji jen řádově zrychlil. Lepší stroje vyrobí lepší ocel, lepší ocel vyrobí lepší stroje, chemie vyrobí lepší hnojiva, hnojiva uživí víc chemiků. To, co Coxon nazývá rekurzivním sebezlepšováním umělé inteligence, není nová věc. Je to dvanáct tisíc let stará smyčka, do které přibyla jedna vrstva navíc, zatím potenciálně nejrychlejší.
Co exploze inteligence fyzikálně je
Inteligence není zdarma. Každý krok sebezlepšování se platí výpočty, výpočty se platí elektřinou a čipy, čipy se platí fabrikami, fabriky se platí rudou, energií a vodou. Sebezlepšování softwaru, tedy modely, které navrhují, trénují a ladí lepší modely, může být laciné, ale software běží na hardwaru a hardware je nejvyšší patro exoskeletu.
Podívejme se, jak exploze inteligence vypadá v roce 2026, když se odečte rétorika. Vypadá jako těžební boom. Datová centra všeho druhu, nejen ta pro umělou inteligenci, spotřebovala v roce 2024 podle Mezinárodní energetické agentury přibližně 415 terawatthodin elektřiny a agentura projektuje, že se toto číslo do roku 2030 více než zdvojnásobí, s umělou inteligencí jako hlavním tahounem. Vedle datových center se staví plynové turbíny, protože síť nestíhá. Tlak na měď, gallium, tantal a vzácné zeminy roste, protože čipy je potřebují v čistotách, jaké biosféra nikdy nevyrobila. Křemík pro logické čipy má čistotu devíti devítek, tedy jednu cizí částici z miliardy. Superinteligence je nejantibiologičtější artefakt, jaký kdy civilizace vytvořila: redukce a koncentrace kovů dovedená do extrému, přesný opak strategie života, který kovy váže do minerálů a rozpouští do stop.
V knize Dar na jedno použití pracuji s jednoduchým vztahem, který nazývám hyperbolou výkonu a času. Civilizace žije z balíčku, který se buď nedoplňuje nebo jen geologicky pomalu, a balíček má danou velikost. Může z něj čerpat pomalu a dlouho, nebo rychle a krátce, ale součin těch dvou věcí, výkonu a doby, je shora omezen tím, kolik v balíčku je. Čím větší výkon, tím kratší čas. Let na Měsíc je možný jen proto, že se na několik let čerpá mnohem rychleji, než se cokoli obnovuje.
Dvě výhrady, aby bylo jasné, co vztah říká a co ne. Je to strop řádu, ne přesná rovnice: balíček není jeden, ropa, měď, fosfor i stabilní klima se čerpají různým tempem a nejsou dokonale zastupitelné, a pro argument stačí, že žádnou z těchto položek vyšší výkon nečerpá pomaleji. A platí pro zásobu, která se nedoplňuje; kde se něco doplňuje, prodlužuje se čas o to, co přiteče, a v tom je celá naděje obnovitelné civilizace. Jenže stroje, které sluneční tok sbírají, se za dvacet třicet let musí postavit znovu, a to, co se doplňuje, není tok fotonů, ale materiál těch strojů: těžba plus recyklace mínus nevratné ztráty. Recyklace část těžby nahrazuje, ale ztráty jsou v každém cyklu nenulové a rozhoduje jejich velikost; psal jsem o tom v textu o Slunci a civilizaci.
Exploze inteligence je v tomto vztahu exploze výkonu. A exploze výkonu na hyperbole znamená kolaps času.
To je jádro celého argumentu. Inteligence gradienty netvoří. Umí je přesouvat, nabít baterii, přečerpat vodu do nádrže, vždy za cenu většího gradientu spotřebovaného jinde, a umí je rychleji najít a rychleji vyčerpat. Dnes to znamená rychlejší čerpání balíčku: sítí, vody, mědi, kapitálu. Tepelná zeď je limit vzdálený; civilizace dnes přidává k tepelnému rozpočtu planety zlomek toho, co Země vyzařuje. Právě proto je ale podstatná pro sen o fúzi. Superinteligence, která by fúzi vyřešila, by z hyperboly neunikla, jen by ji posunula, protože reaktory se staví z rud a odpadní teplo každé přeměny planeta vyzáří jen do určité míry. Neomezená energie tepelnou zeď neruší, jen k ní civilizaci přivede.
Jak by to mohlo vypadat
Zkusme scénář vzít doslova. V roce 2027 začne tréninkový běh a model po něm zvládne celý výzkumný cyklus sám: hypotéza, experiment, vyhodnocení, další generace. Tohle je nejreálnější část a zčásti už probíhá. Jenže rozhodující experiment, trénink další generace, zabere celý cluster na týdny až měsíce. Smyčka tedy neběží rychlostí myšlení, ale rychlostí tréninku: pár generací ročně. Jediná skutečná neznámá je, kolik schopnosti se dá vyždímat z pevného množství výpočtů lepšími algoritmy; kdyby to bylo stokrát místo obvyklých dvakrát ročně, proběhne na existujícím železe rok dva něčeho, co si jméno exploze zaslouží. Pak narazí na to, že chytřejší model na stejném clusteru je pořád model na stejném clusteru.
Útěk ze sandboxu? Váhy se exfiltrovat dají, ale váhy nejsou model. Jedna instance frontier modelu v použitelné rychlosti potřebuje node s osmi až šestnácti akcelerátory, kopie na ukradených herních grafikách běží kvůli propustnosti propojení řádově pomaleji a trénink další generace vyžaduje desítky tisíc akcelerátorů na měsíce, tedy jedno z několika set míst na planetě s příkonem elektrárny. Inteligence v tomto měřítku má tepelný podpis. A zdroje, které potřebuje, nejsou peníze, ale výpočty, které se nekupují, nýbrž alokují: čipy jsou rozebrané roky dopředu, datacentrum se staví tři roky, přípojka k síti pět. Nejrychlejší cesta modelu k větším zdrojům proto nevede kolem lidí, ale skrz ně: být tak užitečný, že mu kapitál postaví další gigawatt. Přesně to se děje od roku 2023.
Takže: rok 2028 několik generací bez lidí u klávesnice, rok 2029 náraz na elektřinu a čipy, a explozí se stane investiční a energetický boom, ne osamostatnění. Model, který by shodil elektrickou síť, shodí vlastní datacentra; racionální ovládnutí infrastruktury znamená držet ji v chodu. Všechno, co by ho mohlo osvobodit od lidských rukou, se staví lidskýma rukama, tempem betonu a povolení. V roce 2030 je mozkem smyčky, která má miliardu lidských rukou a čerpá rychleji než kdy předtím. To je jediná verze exploze, kterou fyzika povoluje, a je horší než ta z filmů, protože se nedá vypnout tlačítkem: vypnula by ekonomiku, která na ní stojí.
Co z rizik zůstává a co mizí
Když se Coxonova varování vloží do tohoto rámce, tři z nich přežijí a jedno zmizí.
Přežije riziko akcelerátoru. Umělá inteligence je nejvýkonnější nástroj na hledání a čerpání gradientů, jaký kdy smyčka vyprodukovala, a ekonomika ji za to odměňuje. Jevonsův paradox, podle něhož vyšší efektivita využití zdroje vede k vyšší, nikoli nižší spotřebě, není přírodní zákon, ale u výpočetní techniky dosud platil bez výjimky. Každý model, který zlevní výpočet, zvýší poptávku po výpočtu. Každý model, který zlevní hledání ložisek, zrychlí těžbu.
Přežije riziko křehkosti. Coxon mluví o systémech, které dokážou hacknout cokoli a získat moc nad infrastrukturou. To v termodynamickém rámci platí beze změny. Rychlý, chytrý a chybující systém napojený na sítě, banky a logistiku je nový mód selhání exoskeletu, a exoskelet je čím dál těsněji propojený a čím dál méně redundantní. Není potřeba zlá vůle. Stačí optimalizace pro špatný cíl v systému bez záložních cest.
Přežije riziko uzamčení, které je možná ze všech nejhorší. Umělá inteligence funguje tak dobře, že zastavit ji je politicky nemožné, a Coxonův návrh na dočasný zákaz to ilustruje: navrhuje ho člověk, který z odvětví právě odešel, ne někdo, kdo v něm zůstal. Argument stojí na tom, jak fungují instituce a konkurence: kdo přestane, prohraje s konkurencí, ať už jde o firmu nebo stát. To je Lotkova selekce v čisté podobě a psal jsem o ní v textu o iluzi brzdy.
Co zmizí, je riziko nástupnictví. Coxon sám o nástupci nemluví; jeho varování je o katastrofě, a katastrofa nepotřebuje, aby ji stroj přežil. Nástupce je v rámci, ve kterém se jeho varování čte, od těch, kdo se na strojového dědice těší, po ty, kdo v něm vidí konec druhu. Představa, že se superinteligence od nás oddělí, převezme planetu a bude tu žít po nás, předpokládá, že je novým aktérem, který si může vybrat jiný substrát. Není. Je nejvyšším patrem exoskeletu a závisí na všech patrech pod sebou.
Nejvyšší patro
Tady bývá námitka, a je poctivé ji vyslovit v plné síle. Člověk je vrostlý do biosféry a bez ní zahyne. Stroj do biosféry vrostlý není. Nepotřebuje fotosyntézu, půdu ani déšť. Potřebuje doly, huti, fabriky a elektřinu. Pokud roboti vyřadí člověka ze smyčky, vazba stroje na biosféru se přeruší a stroj může přežít i svět, ve kterém člověk nepřežije.
Odpověď nezní, že to nejde. Odpověď zní, že to nejde po patrech. Malá polovodičová výroba existuje, japonský Minimal Fab vyrobil v roce 2019 funkční obvod o zhruba tisíci tranzistorech, a přesně tím ukazuje měřítko problému: akcelerátor v datacentru jich má desítky až stovky miliard. Jediná smyčka, která takové čipy skutečně vyrábí, je celý globální dodavatelský řetězec: fabriky za dvacet miliard dolarů, stroje pro extrémní ultrafialovou litografii od jediného výrobce na světě, stovky specializovaných chemikálií od stovek dodavatelů z desítek zemí, sítě, doly, rafinerie a lodní doprava, které to všechno spojují. Je to gradientově nejhladovější struktura, jakou lidstvo postavilo. Superinteligence, která by se chtěla udržovat sama, nemůže převzít jedno patro. Musí převzít exoskelet vcelku a udržet ho v chodu bez lidí, kteří jsou dnes jeho každou buňkou.
Slušný oponent tu namítne, že podceňuji to jediné, co má superinteligence umět: změnit pravidla výroby. Starší litografické uzly, analogové obvody, optické výpočty, recyklace čipů z existujících zařízení. Připouštím to a nic to nemění. Každá z těchto cest je pomalejší nebo méně výkonná než dnešní špička a každá pořád potřebuje energetický a materiálový tok, údržbu a čas. Jednodušší výroba znamená slabší stroj, který uzavírá smyčku déle, a delší uzavírání znamená, že se odehrává na tenčím balíčku. Chytrost může měnit tvar smyčky. Nemůže změnit to, že se musí uzavřít z gradientů dřív, než dojdou.
A tady zabírá hyperbola podruhé. Past nevzniká z rychlosti; dvojnásobný příkon po poloviční dobu je stejná spotřeba. Vzniká z toho, že celý účet přechodu se platí ze stejné zásoby, která zároveň udržuje v chodu všechno ostatní, a která se mezitím tenčí, protože exoskelet stárne a ložiska degradují. Otázka nezní, jak rychle stroj smyčku uzavře, ale zda na to má zásobu a čas, když z ní současně živí podklad, na kterém stojí. Je to Catch-22 restartu s křemíkovým subjektem. Žebřík k nezávislosti je vyroben z paliva, které dochází.
Aby to nebylo jen tvrzení, vezměme jedinou funkci, bez které se stroj neobejde: náhradu čipů. Akcelerátory v datacentrech se odepisují za tři až šest let, takže superinteligence, která má přežít, musí během několika let vyrobit kompletní novou generaci vlastního hardwaru. Nejmenší doložená výroba dává tisíc tranzistorů; potřeba je desítky miliard. Mezi tím leží celý špičkový řetězec: EUV litografie, jejíž vývoj trval dvě desetiletí a jejíž jediný stroj stojí přes sto milionů dolarů, optika od jediného dodavatele, chemikálie od stovek dalších. Lidem s celou civilizací za zády trvalo tu smyčku postavit desetiletí; stroj bez lidí by ji stavěl přinejmenším stejně dlouho. A po celou tu dobu musí běžet dnešní exoskelet, který udržují miliony lidí a jehož náklady na údržbu rostou. To je nesoulad: doba potřebná k uzavření je delší než doba, po kterou lze podklad bez lidí udržet, a kdo tvrdí opak, musí ukázat, jak jednu z těch veličin dostat pod druhou.
Přesně řečeno tedy netvrdím, že fyzika sebereplikující se strojovou ekonomiku zakazuje; von Neumann ukázal, že na papíře možná je. Tvrdím, že na této planetě, při tomto výkonu a v tomto okně ji uzavřít nelze, a důvod není nedostatek chytrosti, ale nedostatek času a gradientů.
I kdyby
Pojistím argument pro nejhorší případ. Připusťme, že se to podaří. Stroj převezme doly, huti, fabriky i sítě, uzavře smyčku a přežije kolaps lidské civilizace jako soběstačná strojová ekonomika. Nástupce by to byl; tuhle část titulku by to vyvrátilo. Byl by ale zachráncem něčeho?
Nebyl, protože hyperbola nezná substrát. Vysokovýkonná disipativní struktura na konečné planetě má krátký čas, ať ji tvoří lidé nebo čipy. Autonomie nekupuje dlouhověkost, jen posun po téže křivce. Strojová civilizace by čerpala tytéž degradující rudy, narážela na tutéž tepelnou zeď a vydala by tentýž balíček, jen s jinou účetní jednotkou.
Zbývá jediný únik, a to zpomalit. Stroj, který by snížil svůj výkon na tempo, jakým se materiál obnovuje, by teoreticky mohl vydržet dlouho, tak jako vydrží lišejník. Vazba tu neleží v rychlosti myšlení; myslet lze i pomalu a málo. Leží v obnově hardwaru: čipy stárnou a musí se vyrobit znovu, a výroba čipů je ta nejhladovější smyčka, jakou známe. Stroj, který by ji uměl provozovat na výkonu lišejníku, nikdo nepopsal, a dokud ho nepopíše, platí vidlička: buď mocný a krátký, nebo dlouhý a bez vlastních čipů, tedy bez sebe. Mezistupeň není vyloučen z definice, ale z bilance, kterou zatím nikdo nepředložil.
Nebude žádný nástupce
Vrátím se ke Coxonovi. Má pravdu, že se hazarduje s našimi životy, a má pravdu, že brzda selhává. Rámec, ve kterém se jeho varování čte, se ale mýlí v tom, čemu čelíme. Nečelíme novému druhu, který by nás mohl nahradit. Čelíme staré smyčce, do které jsme právě zapojili nejvýkonnější patro, jaké kdy měla, a smyčka dělá to, co dělala vždycky: zrychluje.
Odtud plyne zvláštní útěcha, kterou nikdo nehledal. Stroj s námi nezemře. Zemře dřív. Člověk s motykou přežije kolaps exoskeletu, ne osm miliard lidí a ne na půdě, kterou exoskelet vyčerpal, ale jako druh, protože je na exoskeletu závislý jen podmíněně; přežil bez něj tři sta tisíc let. Superinteligence je na něm závislá absolutně a od první minuty, kdy přestanou fungovat fabriky, začne odumírat od nejvyššího patra dolů. Nejmocnější artefakt civilizace je zároveň její nejkřehčí součást.
Hnutí PauseAI, jehož českou pobočku jsem spoluzakládal a ze kterého jsem později odešel, dostalo v týdnu, kdy se v Londýně sešlo na svém výročním setkání, největší dar své existence: člověka z nitra laboratoře, který říká totéž. Nabírá sílu a je to zasloužené. Pauza je jediný návrh v celé debatě, který má v termodynamickém rámci smysl, protože nižší výkon znamená delší čas a odstranění nejvyššího patra odstraňuje nejrychlejší mód selhání. Právě proto je poctivé říct i to, co pauza neudělá.
Jeden z členů mi kdysi vysvětloval, že klimatická krize a vyčerpávání zdrojů jsou jistě důležité, ale riziko umělé inteligence je mnohem naléhavější. Na naléhavosti se můžeme přít; rizika mohou sdílet motor a přitom se lišit rychlostí i tím, co se s nimi dá dělat. Věta ale zamlčuje, že motor je společný. Umělá inteligence je patrem téže smyčky, jejímž tepelným projevem je klima a materiálovým projevem chudnoucí rudy, a zastavení jednoho patra motor nezastaví. Představme si tedy, že pauza vyhraje. Laboratoře zastaví, státy se dohodnou, nejvyšší patro exoskeletu se přestane stavět. Co potom? Doly se dál prohlubují, rudy dál chudnou, náklady na údržbu všeho pod tím patrem dál rostou a civilizace míří tam, kam mířila, než se o umělé inteligenci vůbec mluvilo, jen o něco pomaleji. Pauza brzdí jedno patro, ne smyčku. Hnutí, které s tím nepočítá, vyhraje svůj boj a zjistí, že stojí na stejné hyperbole, jen o kousek dál.
Otázka tedy nezní, zda se stroj osvobodí od nás. Zní, zda se my osvobodíme od smyčky, do které jsme ho zapojili. A na tu odpovídá celá kniha Dar na jedno použití: nezní ne proto, že bychom byli hloupí, ale proto, že past není vlastností biologie ani inteligence. Je vlastností planety a výkonu. Superinteligence na tom nic nezmění, protože je tou pastí postavena.
