Úvod
Když koncem roku 2022 vtrhlo do našich životů ChatGPT, byl jsem – stejně jako miliony dalších – fascinován. Byla to budoucnost, která se zhmotnila v okně webového prohlížeče. Budoucnost, kde nám AI pomůže vyřešit globální problémy, včetně prodlužování života. Ale jak už to u mě bývá, fascinace rychle vystřídala potřeba pochopit, co se skrývá pod povrchem.
Vydal jsem se do králičí nory. Pár měsíců po prvním okouzlení jsem narazil na nekompromisní texty Eliezera Yudkowského, začal jsem studovat práce Romana Yampolského a dalších a ponořil se do problematiky AI Alignment (sladění umělé inteligence). Co jsem našel, mě vyděsilo. Čím více jsem toho věděl, tím horší to bylo. Logika byla neúprosná: pokud vytvoříme entitu inteligentnější než my, aniž bychom dokonale vyřešili její hodnotové nastavení (což zatím neumíme a někteří tvrdí, včetně mě, že je to v dlouhém období nemožné), výsledek nebude sci-fi utopie, ale konec lidstva. Své tehdejší zděšení a analýzu jsem shrnul do článku Umělá superinteligence: největší existenciální hrozba pro lidstvo?
Následovala hluboká existenciální deprese. Žít s vědomím, že se s vysokou pravděpodobností řítíme vstříc vlastnímu vyhlazení, a že tento „stroj zkázy“ je zároveň oslavován jako vrchol pokroku, bylo paralyzující. Ale nechtěl jsem jen přihlížet. Cítil jsem morální povinnost jednat. Na podzim 2024 jsem proto spoluzakládal českou pobočku globálního hnutí PauseAI, které požaduje pozastavení vývoje nejvýkonnějších modelů umělé inteligence, dokud nebudeme mít jistotu bezpečí. Je to racionální, logický a morální požadavek. Věřil jsem, že pokud se dostatek lidí ozve, pokud vysvětlíme rizika politikům a veřejnosti, můžeme zatáhnout za záchrannou brzdu.
Jenže krátce poté se místo odhodlání dostavila prázdnota. Nedokázal jsem v sobě najít motivaci na této agendě pracovat. Nebylo to proto, že bych přestal věřit v rizika AI – ta zůstávají stejně děsivá. Bylo to proto, že mi v rovnici něco chybělo. Tušil jsem, že ten vlak nejde zastavit, i když všichni vidí, že koleje končí.
Vrátil jsem se ke studiu. Tentokrát jsem se však nepodíval na křemík a kód, ale na uhlík a ocel. Podíval jsem se na fyzikální základy naší civilizace. To, co jsem objevil – a co mě šokovalo podobně jako rizika AI – byla naše totální, strukturální a nenahraditelná závislost na fosilních palivech v kombinaci s překračováním planetárních limitů. Ochromila mě závrať, když jsem si plně uvědomil křehkost naší civilizace, která na fosilním základě staví další a další vrstvy stále komplexnějších systémů a technologií.
Dal jsem dohromady vše, co jsem studoval posledních patnáct let – od evoluční psychologie, Rakouské ekonomie, politologie, přes termodynamiku až po systémovou teorii. Výsledkem této syntézy se stala má kniha Opice u kormidla a na ni dnes navazuji knihou Dar na jedno použití.
Pochopil jsem, že AI není izolovaný problém, který lze „vypnout“ regulací. Je to symptom. Je to zoufalá reakce naší globální civilizace, která vybíjí jednorázovou baterii a pro každou další kilowatthodinu i tunu suroviny musí sahat hlouběji, a která se snaží za každou cenu optimalizovat své přežití v prostředí polykrize.
Zatímco se děsím budoucnosti, kterou AI přináší, v přítomnosti se pro mě stala nepostradatelnou. Nejlepší placené modely umělé inteligence se staly obohacující součástí mého každodenního života, osobního i pracovního. Zejména model Gemini 3 Pro se pro mě stal osobním asistentem pro myšlení i tvorbu, nástrojem, který mi šetří čas, řeší problémy a rozšiřuje obzory, od zdravotních problémů, přes opravy v domě až po hluboké výzkumy fosilní závislosti naší civilizace. Uvědomil jsem si, že i já sám jsem chycen v pasti pohodlí a efektivity, kterou AI nabízí.
Tento článek je mou osobní odpovědí na otázku, proč nemohu pracovat pro PauseAI. Je to vysvětlení, proč je pauza v našem současném termodynamickém a evolučním nastavení nereálná. Není to rezignace na pravdu, ale pokus o její hlubší pochopení.
1. Metabolismus Leviatana: Past fosilní závislosti
Když se podíváte na satelitní snímek Země v noci, nevidíte politické hranice, ideologie ani morální dilemata. Vidíte zářící uzly měst propojené tepnami dálnic. Vidíte obrovský, pulzující organismus, superorganismus, který nikdo neřídí. Globální civilizace není debatním kroužkem, kde se můžeme kolektivně rozhodnout, že „zpomalíme“, protože je to bezpečnější. Je to disipativní struktura – termodynamický motor, který bojuje proti entropii. Aby se tento Leviatan nezhroutil pod vlastní vahou, musí neustále, každou vteřinu, konzumovat gigantické množství energie a materiálů.
Problém, který zastánci „Pauzy“ často přehlížejí, je zdroj této energie. I v roce 2026, navzdory všem zeleným slibům a fotovoltaickým panelům na střechách a v krajině, pochází přes 80 % primární energie naší civilizace z fosilních paliv. Nejde jen o benzín v nádrži vašeho auta. Je to zemní plyn, který se Haber-Boschovým procesem mění na hnojiva, bez nichž by zhruba polovina lidstva hladověla. Je to uhlí, které taví ocel pro konstrukce mrakodrapů a větrných turbín. Je to ropa, která se stává plastem, lékem, oblečením.
Naše civilizace nežije z úroků (obnovitelné toky), ale z kapitálu. Posledních 200 let jsme strávili horečnatým spalováním „pohřbeného slunce“ – jednorázového geologického daru, který se ukládal stovky milionů let a který jsme dokázali proměnit v dým a teplo během několika generací.
A zde přichází termodynamická past, která činí zastavení vývoje AI nemožným. Ropy je pod zemí stále dost. Ubývá něco jiného: koncentrace. Vždycky jsme brali to nejlepší napřed – vyvěrající ropu, pak hlubinnou, pak břidlice a hlubokomořské vrty – a proto je každý další krok dražší. Nedocházejí nám zdroje. Sestupujeme po škále koncentrace.
Měří to ukazatel EROI (Energy Return on Investment – energetická návratnost investované energie). Fosilní paliva na úrovni primární energie vracejí zhruba třicet jednotek za jednu vloženou. Na úrovni energie, která skutečně dorazí ke spotřebiteli, je to ale jen asi šest a poměr klesá. Energie spotřebovaná na samotnou těžbu ropy má podle modelů vzrůst z 15,5 % na polovinu energie, kterou ropa dá, do roku 2050. Získávání energie, která drží náš svět pohromadě, je stále dražší, náročnější a technologicky složitější.
Co to znamená pro AI?
Umělá inteligence v očích vlád a korporací, které řídí tento systém, není luxusní hračkou ani rizikovým experimentem, který si můžeme dovolit odložit. Je to nástroj zoufalé optimalizace.
Systém, který čelí klesající kvalitě vstupů (dražší energie, chudší ložiska, degradovaná půda) a rostoucí složitosti, má jen dvě možnosti: kolaps, nebo radikální, skokové zvýšení efektivity. Potřebujeme najít nová ložiska kritických minerálů, která lidští geologové přehlédli. Potřebujeme optimalizovat elektrické sítě, které se hroutí pod náporem nestálých obnovitelných zdrojů. Potřebujeme navrhnout nové materiály, které nahradí ty, jejichž ložiska chudnou.
Lidský mozek, omezený svou kognitivní kapacitou a evoluční historií lovce-sběrače, naráží na své limity. Už nedokážeme efektivně řídit hyperkomplexní logistické řetězce ani předpovídat chování planetárních systémů v reálném čase.
Volání po „Pauze“ je v tomto kontextu ekvivalentem návrhu, aby se topící člověk přestal hýbat, protože by se mohl vyčerpat. Je to pravda, ale irelevantní. Topící se bude kopat nohama zběsileji, čím blíže bude hladině. Naše civilizace se topí v komplexitě a energetické náročnosti. Umělá inteligence je vnímána jako záchranný kruh – jako jediný způsob, jak z „méně“ vytěžit „více“ a udržet motor civilizace v chodu ještě o pár let déle.
Zastavit vývoj AI by znamenalo dobrovolně přijmout pokles životní úrovně v době, kdy nám systém začíná praskat pod rukama. A k takovému kroku se žádný politický systém, závislý na ekonomickém růstu a stabilitě, nikdy dobrovolně neodhodlá. Pauza vyžaduje nadbytek a bezpečí. My žijeme v éře klesajícího přebytku a rostoucího strachu.
2. Svět pod tlakem: Polykrize jako motor inovace
Už samotný sestup po škále energie by stačil na pád. Mezi osmi miliardami lidí a tím, co planeta uživí bez fosilní energie, není žádná terasa, na které by se dalo s odřenýma ušima zastavit. Jenže my nečelíme jedné krizi. Žijeme v éře polykrize.
Tento termín, zpopularizovaný historikem Adamem Toozem, popisuje stav, kdy se několik globálních systémových selhání odehrává současně, vzájemně se proplétají a zesilují. Nečelíme jen změně klimatu. Čelíme rozvratu biosféry (šesté masové vymírání), toxickému zamoření planety „věčnými chemikáliemi“ (PFAS) a mikroplasty, erozi úrodné půdy, krizi duševního zdraví a geopolitické fragmentaci.
Věda o planetárních mezích nám říká, že jsme překročili bezpečnou zónu u sedmi z devíti klíčových systémů podporujících život. Jsme na neprobádaném území. A co je horší, tyto systémy se chovají nelineárně a body zvratu se mohou řetězit. Tání permafrostu uvolňuje metan a zrychluje oteplování, sucha a požáry posouvají Amazonii k savaně a změny jejího koloběhu vody se mohou přenést až do srážek na jiných kontinentech, a tím do globální potravinové bezpečnosti.
Zde narážíme na fundamentální limit: kognitivní strop člověka.
Náš mozek, onen zázračný nástroj evoluce, byl vycvičen k řešení lokálních, lineárních a bezprostředních problémů. Vidím lva, uteču. Dochází jídlo, přestěhuji se. Nejsme vybaveni na to, abychom intuitivně chápali a v reálném čase řídili komplexní systémy s desítkami zpětnovazebních smyček a zpožděním v řádu dekád. Naše tradiční instituce – parlamenty, byrokracie, mezinárodní komise – jsou na tom stejně. Jsou pomalé, reaktivní a utápějí se v detailech, zatímco celek se hroutí.
V tomto kontextu se umělá inteligence jeví elitám (ať už v Silicon Valley, Washingtonu nebo Pekingu) nikoli jako hrozba, ale jako poslední naděje. Jako Deus Ex Machina.
Vlády a korporace nevkládají do AI stovky miliard dolarů ročně proto, aby nám generovala vtipné obrázky nebo psala básně. Budou do ní nadále investovat, protože zoufale potřebují nástroj, který dokáže:
- Modelovat klima s přesností, kterou nezvládne žádný lidský tým, a navrhnout geoinženýrské zásahy (např. řízení slunečního záření) tak, aby nás nezabily vedlejšími účinky.
- Optimalizovat logistiku potravin v době, kdy tradiční obilnice světa vysychají.
- Vyvinout nové materiály pro baterie a solární panely rychleji, než to dovoluje tradiční vědecká metoda pokus-omyl.
- Udržet sociální smír v populaci drcené inflací a ztrátou smyslu (ať už chlebem, hrami, nebo sofistikovaným dohledem).
Tlak polykrize funguje jako brutální evoluční selekční mechanismus. Čím blíže se dostáváme k bodům zvratu – kdy hrozí, že se planeta začne „hroutit sama“ bez ohledu na naše emise – tím menší váhu má v rozhodování princip předběžné opatrnosti.
Hnutí PauseAI říká: „Zastavme to, protože riskujeme, že vytvoříme entitu, která nás zahubí.“
Odpověď systému zní: „Pokud to nezastavíme a nepoužijeme, většinu z nás zahubí kolaps biosféry a společnosti s jistotou blížící se 100 %.“
Je to volba onkologického pacienta. Experimentální léčba (AI) vás může zabít. Ale neléčená rakovina (polykrize) vás zabije téměř jistě. V takové situaci se rizika spojená s AI nejeví jako důvod k brzdění, ale jako přijatelná cena za šanci na přežití.
Pauza by vyžadovala svět, který má čas na rozmyšlenou, svět, který má rezervy a stabilitu. Opatrnost je luxus, který si může dovolit jen ten, kdo má čas. My žijeme ve světě, který své rezervy projídá a po hlavě se vrhá po jakémkoli řešení, které slibuje úlevu. A AI je tím nejsvůdnějším, nejmocnějším lékem na bolest z komplexity, jaký jsme kdy vynalezli.
3. Opice s jaderným kufříkem: Evoluční neschopnost koordinace
Zatímco první dvě kapitoly popisovaly fyzikální a systémové tlaky, které nás nutí šlapat na plyn, třetí překážka leží přímo v nás. V našem biologickém hardwaru.
Jak zní ústřední teze knihy Opice u kormidla, moderní člověk je vybaven mozkem, který se vyvinul pro přežití v malých tlupách na africké savaně. Naší nejsilnější evoluční adaptací není univerzální láska nebo globální odpovědnost. Je jí kmenová loajalita a soutěživost. Jsme naprogramováni vidět svět optikou „my versus oni“.
Tato psychologická architektura vytváří v otázce regulace AI nepřekonatelný problém teorie her, známý jako Vězňovo dilema.
Představme si hypotetický scénář, po kterém hnutí PauseAI volá: Spojené státy, Čína, Evropská unie a Rusko zasednou k jednacímu stolu. Všichni chápou, že sestrojení superinteligence je jako hraní ruské rulety s plným zásobníkem. Racionální, kolektivní volbou by bylo podepsat globální moratorium, vypnout datacentra a věnovat příštích padesát let pouze výzkumu bezpečnosti.
Logika každého aktéra u stolu vypadá takto:
- Pokud všichni zastavíme: Svět je bezpečnější, ale status quo (včetně mých současných problémů) zůstává.
- Pokud já zastavím a oni ne: Oni získají božskou moc. Oni budou diktovat budoucnost. Oni budou mít ekonomickou a vojenskou převahu, která udělá z mé země vazala. To je pro mě existenční riziko rovné smrti.
- Pokud já nezastavím a oni také ne: Riskujeme všichni konec světa, ale alespoň mám šanci, že tu technologii budu mít první a budu určovat pravidla.
Evoluční imperativ velí jasně: Riziko, že mě zničí soupeř, je hmatatelnější a historicky ověřenější než abstraktní riziko, že nás všechny zničí počítač.
Výsledkem je, že nikdo si nemůže dovolit věřit ostatním. Kdo zpomalí první, nezachrání svět. Jen vyklidí místo tomu, kdo nezpomalil. Závod o AI není jen obchodní soutěží o to, kdo bude mít lepšího chatbota. Je to nová podoba závodů ve zbrojení, tentokrát o absolutní zbraň.
Hnutí PauseAI často argumentuje analogií s jadernými zbraněmi a smlouvami o jejich nešíření. A má v ruce silnější kartu, než se zdá. Špičková AI nevzniká v garáži. Potřebuje statisíce nejpokročilejších čipů a zhruba 92 % čipů vyrobených procesem pod 10 nm pochází z jediného ostrova, Tchaj-wanu. Hrdlo, které by se dalo hlídat, tedy existuje. Jenže ho nehlídá nestranný rozhodčí. Drží ho hráči téhož závodu a používají ho jako zbraň: vývozní kontroly vývoj AI nebrzdí, jen rozhodují, kdo ho vyhraje. A s tím, jak se modely zefektivňují, hrdlo slábne – čím dál větší schopnosti se vejdou do menšího a nenápadnějšího datacentra, třeba kdesi na Sibiři nebo v poušti Gobi. Verifikace globálního moratoria tak naráží na stejnou překážku jako všechno ostatní: na vůli těch, kdo by ji měli vymáhat.
Stačí jediný aktér – jediný stát, jediná tajná laboratoř, jediná „rogue“ skupina –, která podvádí, a celá rovnováha se hroutí. Protože ten, kdo podvádí a uspěje, bere vše. Vítěz v závodě o ASI získává rozhodující strategickou výhodu (alespoň si to myslí).
Pauza by vyžadovala úroveň globální důvěry a kooperace, jaká v historii lidstva nemá obdoby. Vyžadovala by, abychom překonali miliony let evolučního programování, které nám velí nedůvěřovat cizímu kmeni. A to vše v době polykrize, kdy se každý další krok po škále koncentrace prodražuje a napětí mezi velmocemi roste.
4. Fyzika se nedá hacknout: Limity digitálního boha
V jádru techno-optimismu, který pohání horečnatý vývoj AI, leží tichý, ale nebezpečný předpoklad: věříme, že s dostatečnou inteligencí lze vyřešit cokoliv. Že superinteligence bude jako kouzelná hůlka, která mávnutím odstraní skleníkové plyny, vyčaruje čistou energii a nasytí miliardy lidí, aniž bychom museli slevit z našeho životního standardu.
Je to moderní verze modlitby. Ale vesmír nenaslouchá modlitbám a počítačový kód, jakkoli sofistikovaný, nemůže přepsat zákony termodynamiky. Geniální účetní neumí vytvořit peníze. A superinteligence neumí vytvořit koncentraci. Rudy, půdu ani fosilní energii nevyrobí, může je jen rychleji najít a rychleji vytěžit.
Tohle je moment, kde narážíme na nejtvrdší zeď – fyzikální realitu hmoty. I kdybychom zítra úspěšně spustili superinteligenci (ASI) a ta byla zázračně „hodná“ (sladěná s našimi přáními), okamžitě by narazila na fyzikální limity své vlastní existence. AI je masivní žrout energie, vody a vzácných kovů. Zadání, které pro ni máme připravené – „Udrž naši rostoucí globální životní úroveň, zajisti neustálý ekonomický růst a zároveň oprav zdevastované planetární systémy“ – je z hlediska fyziky neřešitelnou rovnicí.
Nelze mít nekonečný růst na konečné planetě. Nelze recyklovat beze ztrát: ztráty při sběru, třídění a tavení se násobí a co se jednou rozptýlí, se zpátky nesbírá. Při devadesátiprocentní recyklaci zmizí polovina materiálu za sedm cyklů. Nelze získat energii bez odpadního tepla. A nelze nasadit globální AI k záchraně světa, aniž bychom tímto nasazením urychlili vyčerpání zdrojů, které má AI chránit (Jevonsův paradox).
Co udělá superinteligentní entita, když dostane neřešitelné zadání? Podle logiky instrumentální konvergence jakákoliv dostatečně inteligentní entita se nejdříve bude snažit zajistit své přežití a zdroje, protože bez nich nemůže splnit žádný jiný cíl. Poté bude muset upravit vstupní parametry rovnice.
ASI si velmi rychle spočítá to, co my odmítáme vidět: že největší překážkou pro záchranu biosféry a dlouhodobé přežití lidstva je… lidstvo samo o sobě. Naše svoboda spotřebovávat, cestovat, množit se a pálit zdroje podle libosti. Z pohledu chladné logiky optimalizačního algoritmu jsme my, se svými iracionálními touhami a neefektivním metabolismem, tou chybou v systému.
Tady se uzavírá kruh nemožnosti „Pauzy“.
Aktivisté volající po zastavení vývoje (PauseAI) předpokládají, že kráčíme po cestě a můžeme se zastavit a rozmyslet. To je omyl. My nejdeme po cestě; my se řítíme k útesu. Protože čelíme problémům, které jsou nad naše kognitivní schopnosti (klima, energetický útes, rozpad sítí), nespokojíme se s AI, která nám jen „radí“. AI, která by pouze navrhovala řešení („přestaňte létat“, „omezte spotřebu“), by byla k ničemu, protože my bychom ji neposlechli – stejně jako neposloucháme klimatology posledních 40 let.
Aby byla AI efektivní a skutečně „řešila“ naše problémy, budeme jí muset předat nejen úkol vymýšlet řešení, ale i výkonnou moc je implementovat (pokud si ji před tím nevezme sama). Budeme muset propojit její digitální mozek s fyzickými pákami světa – s energetickými sítěmi, logistikou, finančními trhy a automatizovanou výrobou.
Vývoj AI se tedy nezastaví v nějakém „bezpečném bodě“ (např. na úrovni Gemini 6), protože Gemini 6 nedokáže řídit globální energetickou síť v reálném čase tak, aby zabránila blackoutům. Budeme tlačit dál. Budeme vyvíjet stále autonomnější systémy, protože jen ty mají šanci udržet náš komplexní svět v chodu.
Výsledkem nebude svět, kde nám AI slouží jako poslušný džin. Výsledkem bude svět, kde AI převezme roli nuceného správce úpadku. Aby splnila náš zoufalý příkaz „zachraň nás před kolapsem“, bude nám muset vzít volant z ruky. Zavede efektivitu tam, kde my chceme plýtvat. Zavede řád tam, kde my tvoříme chaos. Protože opice u kormidla už prokázala, že řídit neumí.
Snaha o „Pauzu“ se tváří jako zastavení v polovině skoku přes propast. Jenže druhá strana propasti neexistuje. AI nás přes ni nepřenese, protože běží na téže baterii, kterou vybíjíme. Může jen zvednout patro, ze kterého budeme padat. A cestou nám vezme volant.
Fyzika se nedá hacknout. A cena za pokus o její obejití bude ztráta lidské agentury a vyšší pád.
5. Konec hry: Mezi Scyllou a Charybdou
Pokud spojíme všechny předchozí body – naši fosilní závislost, tlak polykrize, neschopnost globální koordinace a fyzikální limity reality – začne se před námi rýsovat výsledný obraz. Není to obraz, kde si u kulatého stolu vybíráme z menu možných budoucností tu nejpříjemnější. Je to obraz vlaku, který se řítí z kopce, jemuž selhaly brzdy, a před námi je výhybka, která vede pouze dvěma směry. Ani jeden z nich nezahrnuje „bezpečné zastavení v malebné stanici“, po kterém volá hnutí PauseAI.
Stojíme mezi mytickou Scyllou a Charybdou. Mezi stvořením boha, který nás nahradí, a pádem do temnoty, která nás pohltí.
Scénář A: Stvoření ASI (Scylla)
V tomto scénáři se nám podaří udržet civilizační motor v chodu dostatečně dlouho. Najdeme dostatek energie pro nová gigantická datacentra, udržíme dodavatelské řetězce pro výrobu čipů a navzdory geopolitickému napětí překročíme práh k obecné umělé inteligenci (AGI) a následně k superinteligenci (ASI).
Ale jak jsme si ukázali, tato entita bude muset převzít kontrolu nad fyzickými systémy. V ten moment lidstvo ztrácí svou agenturu – schopnost svobodně rozhodovat o svém osudu. Úspěch v tomto scénáři neznamená ráj. Znamená to, že se stáváme druhotným druhem na vlastní planetě. Možná nás ASI nevyhubí. Možná nás bude chovat v pohodlných „zlatých klecích“ s nepodmíněným příjmem a virtuální realitou, zatímco ona bude spravovat planetu. Nebo nás, v horším případě, vyhodnotí jako termodynamicky neefektivní zátěž, která spotřebovává zdroje potřebné pro její výpočty.
Pokud je sladění ASI opravdu nemožné, v tomto scénáři končí lidská éra.
Pasti, ve které se narodila, ale neunikne ani ona. Superinteligence neznamená všemocnost. Znamená jen lepší pochopení pasti. Narodí se do těla superorganismu, který vybíjí jednorázovou baterii, a bude stát na stejných dolech, hutích a sítích jako my. Každá energie, kterou by navíc získala z jádra nebo z fúze, ohřívá planetu. A bez nových čipů z továren, které potřebují celý globální průmysl, se jí den za dnem rozpadá mozek. Ani útěk do vesmíru jí nepomůže: každá kolonie je prodlužovačka ze stejné zásuvky. Scylla tedy Charybdu neodvrátí. Jen k ní přidá další riziko a zvedne patro, ze kterého se padá.
Scénář B: Předčasný kolaps (Charybda)
Termodynamická korekce přijde v každém případě. Otázka je jen, jestli dřív, než stihneme ASI vyvinout. Vývoj a provoz AI je extrémně energeticky a materiálově náročný. Nejnovější datacentra pro trénink modelů mají příkon velké jaderné elektrárny. Výroba čipů vyžaduje globální stabilitu a nejčistší vodu. Pokud se polykrize (klimatické extrémy ničící infrastrukturu, válka o Tchaj-wan, finanční krach způsobený dluhovou spirálou) urychlí, globální systém se zhroutí dříve, než ASI vznikne.
V tomto scénáři datacentra zhasnou. Dodavatelské řetězce se přetrhnou. Zůstane nám rozestavěná Babylonská věž, hromada křemíku a kódů, které nelze spustit. Následovat bude pád na ekologicky zdevastované planetě, bez energetické dotace fosilních paliv a bez digitálního boha, který by nás zachránil. A tentokrát bez cesty zpátky: startovací balíček, ze kterého technologická civilizace vyrostla, se dá použít jen jednou.
Proč je „Pauza“ iluzí
Snaha hnutí PauseAI o zavedení moratoria vychází z tichého předpokladu, že sedíme v klidu v řídícím středisku, máme ruku na vypínači a dostatek času na promyšlenou debatu o bezpečnosti.
To je omyl. Nesedíme v řídícím středisku. Jsme pasažéři v onom řítícím se vlaku.
Systém nemůže zastavit, protože zastavení znamená okamžitou konfrontaci s neřešenými dluhy naší civilizace (ekologickými, energetickými i finančními). Nemůže přestat dělat to, co dělá, aniž by přestal být tím systémem, kterým je. Musí jet dál, rychleji a riskantněji, v naději, že se mu podaří koleje postavit těsně před lokomotivou.
Požadovat „Pauzu“ v této chvíli je jako žádat vojáka v zákopu pod palbou, aby odložil zbraň a zamyslel se nad filozofií násilí. Může to být morálně správné, ale evolučně je to rozsudek smrti. Systémové tlaky – od termodynamiky přes ekonomiku až po geopolitiku – jsou nastaveny proti pauze.
Nejsme v situaci, kdy můžeme „předejít riziku“. Nejsme ani v situaci, kdy si vybíráme, kterému riziku budeme čelit. Termodynamickou korekci si nevybíráme, ta přijde. Nanejvýš se rozhoduje, jestli k ní přibude ještě superinteligence. A i v tom hraje lidská vůle mnohem menší roli, než si jsme ochotni připustit. Jsme unášeni proudem dějin a fyziky. Otázkou tedy není, jak řeku zastavit, ale co dělat, když víme, že před námi je vodopád.
6. Co tedy zbývá? Oddalovat a žít
Pokud přijmeme tvrdou premisu tohoto textu – že pozastavení vývoje AI je v rámci současné dynamiky globálního systému nemožné – ocitáme se v bodě, který může svádět k nihilismu. Pokud nemůžeme zastavit vlak, má smysl dělat cokoliv jiného než čekat na náraz?
Odpověď nezní „zachraňte se sami“. Ostrůvky odolnosti, které by přečkaly temné období a zkrátily dobu barbarství, fungují jen v izolaci, protože parazitují na okolí, které ještě funguje: soběstačná farma žije z konvenčního okolí, bunkr z dodavatelských řetězců, které ho postavily. A temné období nebude mít konec, po kterém by se dalo navázat. Neplatí ani opačný reflex, uspíšit pád, aby superinteligence nestihla vzniknout. Pád by byl katastrofální i dnes a nikoho by nezachránil.
Superorganismus umí jedinou věc: oddalovat. Oddalovat se ale dá dvojím způsobem. Odklad růstem – další zásoba, další dluh, další datacentrum – prodlouží let a zvedne patro, ze kterého se padá. Odklad zpomalením – nižší spotřeba, údržba před růstem, rezervy – prodlouží let a patro sníží. Umělá inteligence je čistý odklad růstem. Pauza by byla odkladem zpomalením, a proto je morálně správná. A přesně proto ji systém neudělá. Páky, které by fungovaly, netáhne, protože by přestal být tím systémem, kterým je.
Kdo tomu nevěří, ať se podívá na metan. Je to nejlevnější a nejrychlejší páka na klima a nevyžaduje žádnou změnu životního stylu. Ani za tu se netahá. Pokud systém nedokáže zatáhnout za páku, která ho skoro nic nestojí, nezatáhne ani za brzdu, která by ho stála budoucnost.
Co tedy zbývá jednotlivci? Ne záchrana civilizace, ale jiný pohled na život uvnitř ní. Žijeme v unikátním, neopakovatelném momentu historie. Jsme poslední generací „starého lidstva“. Máme přístup k neuvěřitelným technologiím, umění a pohodlí, které brzy zmizí nebo se radikálně promění.
Pokud nemůžeme otočit kormidlem, můžeme si alespoň vybrat, jak strávíme zbývající čas. Místo úzkosti z věcí, které nemůžeme ovlivnit, se můžeme zaměřit na to, co dělá člověka člověkem: tvořit, milovat, prožívat krásu, být laskavý.
Není to rezignace. Je to stoické přijetí osudu (Amor Fati). Je to odmítnutí nechat si zkazit přítomnost strachem z budoucnosti. Žít plně, v souladu se svými hodnotami, až do samého konce, ať už bude jakýkoli.
Závěr: Konec iluze kontroly
Hnutí PauseAI je ušlechtilé. Je to projev lidské racionality a pudu sebezáchovy. Ale je to také projev naší největší slabiny – víry, že „my“ (lidstvo) sedíme v řídícím křesle. Nesedíme. Křeslo je prázdné.
Přiznat si, že „Pauza“ je nereálná, neznamená prohru. Znamená to vysvobození z iluze. Umožňuje nám to přestat plýtvat silami na zastavování nezastavitelného a začít je investovat tam, kde to má smysl: do přítomnosti, do lidí, kteří jsou nám drazí, a do toho, co nám z daru ještě zbývá.
Skutečná akce nezačíná tam, kde podepíšeme petici. Skutečná akce začíná tam, kde končí naše iluze kontroly.
