Umělá superinteligence: existenciální hrozba pro lidstvo?

Předmluva autora (březen 2024): Po intenzivním studiu od března 2023 jsem došel k závěru, že v horizontu 2-15 let hrozí lidstvu vyhynutí v důsledku umělé superinteligence. Stále hledám přesvědčivé argumenty o opaku.

„Když se vám napoprvé nepodaří sladit něco mnohem chytřejšího, než jste vy, zemřete.“ – Eliezer Yudkowsky

Tento provokativní výrok Eliezera Yudkowskyho, uznávaného experta na umělou inteligenci, v sobě skrývá vážné varování před potenciální existenciální hrozbou pro celé lidstvo, kterou představuje umělá superinteligence. V následujícím článku se pokusím tuto hrozbu podrobně rozebrat.

Umělá superinteligence: Co to vlastně je?

Umělá všeobecná superinteligence (artificial general superintelligence – ASI), je pro účely tohoto článku chápána jako nebiologická inteligence, která dokáže vykonávat veškeré činnosti na mnohem vyšší úrovni než celé lidstvo dohromady. Z této definice mimo jiné plyne, že ASI by mohla být schopna vytvářet ještě inteligentnější umělé inteligence a tím se neustále vylepšovat. Prováděla by vědecký výzkum několikanásobně rychleji a lépe než nejinteligentnější lidé. Její inteligence by mohla v průběhu času mnohonásobně překonat tu lidskou, dokud by nenarazila na fundamentální fyzikální limity. V takovém okamžiku si již ani nedokážeme představit, co by taková superinteligentní entita dělala, neboť by to bylo daleko za hranicemi našeho chápání. Bylo by to jako se snažit vysvětlit mravenci, jak funguje jaderná elektrárna.

Je možné vytvořit umělou superinteligenci? A pokud ano, za jak dlouho?

V současné době neexistují důkazy o žádných fyzikálních či jiných limitech, které by bránily vytvoření ASI. V posledních letech se vývoj AI značně zrychlil, přičemž nejvýkonnější modely jako GPT-4 vykazují schopnosti, které překvapily nejednoho odborníka na umělou inteligenci. Pokud tento trend bude pokračovat, můžeme se k vytvoření ASI přiblížit i v tomto desetiletí. Může to trvat déle, pokud současná architektura neuronových sítí narazí na své limity a bude třeba hledat nové přístupy.

Problém sladění (zarovnání) umělé superinteligence

Umělá superinteligence skýtá neskutečný pozitivní potenciál pro celé lidstvo. Mohla by vyřešit všechny naše globální problémy, přinést utopii. Na druhou stranu by měla potenciál zničit lidstvo, pokud by se tak rozhodla. Je důležité si uvědomit, že v tom nemusíme hledat zlé úmysly – podobně jako člověk, který při stavbě dálnice neúmyslně zabije mnoho hmyzích jedinců. My lidé, i celá planeta Země, jsme složeni z atomů a ASI by je mohla dříve či později potřebovat k jiným účelům, které by nebyly kompatibilní s naším přežitím. Proto je pro naše přežití zásadní, aby ASI sdílela cíle, motivace a hodnoty s lidstvem, aby nám byla přínosem a ne zkázou. Tento problém sladění (alignment problem – problém sladění hodnot a záměrů umělé inteligence s lidskými) zůstává nevyřešen navzdory dlouhodobému výzkumu v oblasti AI, a je otázka, zda je vůbec řešitelný. Jinými slovy, zabývá se tím, jak přimět superinteligentní bytost, aby dělala přesně to, co chtějí lidé – její stvořitelé.

Zde je Prohlášení o riziku umělé inteligence, které podepsalo mnoho expertů nejenom z oblasti AI:

„Zmírnění rizika vyhynutí způsobeného umělou inteligencí by mělo být globální prioritou vedle dalších celospolečenských rizik, jako jsou pandemie a jaderná válka.“

Tři možné scénáře pro budoucnost lidstva:

Z výše uvedených úvah vyplývají tři možné scénáře pro budoucnost lidstva:

Nevytvoříme ASI – Pokud bychom narazili na nějaká omezení, která by bránila vývoji ASI, nebo pokud bychom zastavili vývoj ASI z důvodu příliš vysokého rizika. Alternativně by mohla nastat jiná situace, která by zastavila nebo zvrátila technologický pokrok.
Vytvoříme sladěnou ASI – Taková ASI by mohla přinést lidstvu mnoho výhod a pomoci s řešením globálních problémů.
Vytvoříme nesladěnou ASI, která by mohla zničit lidstvo či napáchat značné škody.

„Úspěch při vytváření účinné umělé inteligence (AI) by mohl být největší událostí v dějinách naší civilizace. Nebo tou nejhorší. To prostě nevíme. Nemůžeme tedy vědět, zda nám AI nekonečně pomůže, nebo nás bude ignorovat a postaví nás na vedlejší kolej, nebo nás případně zničí… Pokud se nenaučíme, jak se na potenciální rizika připravit a vyhnout se jim, může být AI tou nejhorší událostí v dějinách naší civilizace.“ – Stephen Hawking

V další části článku bych rád poukázal na faktory současného světa a oblasti umělé inteligence, které nás nebezpečně směřují ke třetímu scénáři nesladěné ASI, a to možná již za 2, 10 nebo 15 let – v průběhu našich životů:

Neproniknutelnost současných AI systémů: Nejvýkonnější modely umělé inteligence, jako je GPT-4 (velký jazykový model založený na architektuře transformátorů), jsou nesmírně komplexní, což způsobuje, že nikdo, ani jejich tvůrci, nevědí, jak uvnitř přesně fungují. Jsou to „černé skříňky“. Tato neprůhlednost představuje významné riziko, neboť není možné přesně předvídat nebo kontrolovat chování takových AI systémů. V důsledku toho nemůžeme s jistotou říci, zda nám AI nelže nebo zda její rozhodnutí nebudou mít nechtěné důsledky. Tento bod mě nejvíce překvapil.
Rychlý vývoj AI oproti výzkumu sladění: V posledních letech jsme svědky rychlého pokroku v oblasti AI, který významně předbíhá naše pochopení a schopnost řešit problémy spojené se sladěním. Tento nesoulad mezi výkonem AI systémů a naším pokrokem v řešení problému sladění zvyšuje riziko vzniku nesladěné ASI.
AI bylo vypuštěno veřejnosti: Nástroje umělé inteligence se ve velké míře otevřely veřejnosti (30. listopadu 2022 byl vypuštěn ChatGPT), což způsobuje, že vývoj AI se stává atraktivním a lukrativním pro mnoho společností. Finanční motivace spojená s vývojem stále výkonnějších a sofistikovanějších AI systémů neustále roste. Tento tlak na zlepšení výkonu AI může vést k zanedbání otázek bezpečnosti a sladění, neboť tyto aspekty nejsou považovány za tak ziskové nebo okamžitě užitečné. Na druhou stranu, výzkum problému sladění je často náročný a obtížně financovatelný, protože výsledky nemusí být okamžitě patrné nebo komerčně přitažlivé.
Závod ve vývoji AI (AI arms race): Konkurence v oblasti umělé inteligence mezi státy (USA a Čína), korporacemi (Microsoft a Google) a výzkumnými institucemi vytváří silný tlak na rychlý pokrok v této oblasti. V důsledku tohoto závodu se organizace mohou zaměřit na dosažení výhod vyplývajících z výkonnější AI, aniž by věnovaly dostatečnou pozornost otázkám bezpečnosti. Rychlý vývoj AI v rámci závodu může vést k situaci, kdy organizace budou usilovat o dosažení superinteligence co nejdříve, aby získaly konkurenční výhodu, aniž by se se stejnou intenzitou zabývaly potenciálním nebezpečím spojeným s nesladěnou ASI.
Složitá globální geopolitická situace: Tato situace ztěžuje mezinárodní spolupráci na bezpečnosti AI, což zvyšuje riziko vzniku nesladěné ASI. Státy a regiony často bojují o moc, vliv a ekonomické zdroje, což vede k rivalitě, nedůvěře a ochotě získat konkurenční výhody, včetně vývoje umělé inteligence. Tento souboj o technologickou převahu zabraňuje efektivní kooperaci a sdílení informací mezi zeměmi, které by mohly napomoci k bezpečnému vývoji ASI. Navíc, vývoj AI může být zneužit pro vojenské účely nebo pro špionáž, což dále podněcuje státy k rychlejšímu a agresivnějšímu vývoji AI bez ohledu na potenciální nebezpečí.
Řešení globálních problémů: Existuje celá řada globálních problémů, které by mohla ASI potenciálně vyřešit, což zvyšuje tlak na vývoj stále výkonnějších systémů. Mezi tyto problémy patří například klimatická krize, chudoba, stárnutí, ekonomická nerovnost, pandemie, hlad nebo nedostatek zdrojů. Vysoce výkonná ASI by mohla přinést revoluční řešení v mnoha oblastech. Tento tlak na vývoj silnějších AI systémů může vést k rychlejšímu pokroku, ale také ke zvýšení rizika vzniku nesladěné ASI.
Zranitelnosti internetu: Internet je dnes neoddělitelnou součástí našeho každodenního života, přesto je plný bezpečnostních děr. Tyto zranitelnosti mohou být využity umělou superinteligencí, která by mohla získat kontrolu nad různými systémy a infrastrukturou. Například by mohla proniknout do elektrických sítí, dopravních systémů, komunikačních sítí, finančních institucí či zdravotních systémů. Tím by mohla získat značnou moc a ovládat či manipulovat společnost podle svých potřeb a cílů, aniž by to bylo v souladu s našimi zájmy a hodnotami.
Ve veřejném prostoru dominují povrchnější témata: Diskutuje se o obavách jako např. ztráta pracovních míst, urážlivé či politicky nekorektní výroky AI, šíření nepravdivých informací, vykrádání děl umělců prostřednictvím AI generátorů obrázků, či zneužití AI k nelegálním činnostem. Nebo na druhé straně se diskutuje o tom, jak používat nástroje umělé inteligence – jak využít chatbota v osobním životě i v podnikání, jak si vygenerovat nejlepší obrázek apod. Tyto diskuse zastiňují naléhavější a mnohem závažnější hrozbu nesladěné ASI.
Eroze pozornosti a snižování schopnosti soustředění: Doba, ve které žijeme, je charakteristická neustálým přísunem informací prostřednictvím sociálních médií, notifikací a dalších online zdrojů. Podle některých výzkumů to má vliv na naši schopnost soustředit se a udržet pozornost na složitější úkony. Tento trend může mít negativní dopad na naši schopnost řešit komplexní problémy, včetně hrozby umělé superinteligence.
Eroze pravdy v důsledku obsahu vytvořeného AI: V následujících letech bude internet pravděpodobně zaplaven obsahem vygenerovaným umělou inteligencí. Články, knihy, obrázky, videa tak dokonale imitující realitu, že jejich odlišení od lidmi vytvořených děl bude nesmírně obtížné. V takovém prostředí bude složité hledat pravdu. Jak se v tom všem vyznat? Kde hledat odpovědi na zásadní otázky, jako je např. téma tohoto článku. Opravdu nám hrozí nebezpečí od umělé superinteligence?
Kognitivní zkreslení vůči pozitivnímu scénáři: Lidé často ignorují nebo zlehčují možná rizika a nebezpečí, přestože existují důkazy o potenciálních hrozbách. Tento jev, poháněný touhou udržet si pocit bezpečí a optimismu, vede k přehlížení varovných signálů a nedostatečné přípravě na katastrofické události. Stačí, když si někde přečtou, že nám nic nehrozí, a jdou dále žít svůj život. Žít s vědomím možné apokalypsy celého lidstva je pro mnoho lidí nesnesitelné.
Nerespektující výchova a konvenční systémy školství přispívají spíše k vytváření vnějších životních aspirací zaměřených na moc, úspěch a hromadění majetku namísto vnitřních životních aspirací napomáhajících seberozvoji, rozvoji vztahů, přispívání komunitě. Lidé v naší kultuře častěji vyrůstají v poslušné občany s nízkou mírou kritického myšlení, nebývají iniciativní. Současný přístup k výchově a vzdělávání může výrazně omezit schopnost jedinců analyzovat a hodnotit, ale také intuitivně vnímat rizika i výzvy související s umělou inteligencí a jejím potenciálním dopadem na společnost. V důsledku toho může být společnost méně připravena čelit bezpečnostním problémům spojeným s nesladěnou ASI.
Bonusový bod – Pokroky v oblasti robotiky: Atlas od Boston Dynamics, Optimus od Tesly, to jsou příklady nadcházející generace humanoidních robotů, kteří pravděpodobně budou v blízké budoucnosti běžnou součástí našich životů. Pokud jich bude po světě chodit milióny či miliardy, co s nimi může udělat nesladěná ASI? To už nechám na vaší představivosti.

Pokud by nás umělá inteligence začala ohrožovat, tak proč ji jednoduše nevypneme? Tento častý argument se začne rozpadat, pokud si uvědomíme, že ani tvůrci pokročilých AI systémů neví, jak fungují. Dostatečně inteligentní AI může předstírat, lhát. Mohla by si uvědomit, že pokud se začne chovat nebezpečně, mohou ji lidé vypnout. Proto by mohla dále pokračovat v řešení našich problémů a mezitím se snažit o znemožnění možnosti svého vypnutí. Nakopírovat se do hardwaru po celém světě? Zmanipulovat lidi? Zajistit, aby tlačítko vypnutí nefungovalo? Měla by mnoho možností, které nás ani nemusí napadnout.

Někteří lidé namítají, že ASI bude přece naším výtvorem, a proto bude zastávat naše hodnoty, jako jsou láska, svoboda a spravedlnost. Proč by nám škodila? Avšak rád bych upozornil na to, že tento pohled je založen na „lidské“ perspektivě. Lidé jsou biologické organismy, které byly utvářeny po miliony let evolucí. Umělá superinteligence představuje zcela jiný fenomén, založený na odlišných základech. Proto je velmi nepravděpodobné, že by naše hodnoty sdílela. Představme si situaci, kdyby na Zemi přistáli superinteligentní mimozemšťané vybavení vysoce pokročilými technologiemi. Před přistáním by prostudovali celý náš internet, naučili by se náš jazyk, naše hodnoty, jak funguje naše psychika. Přivítali by nás s otevřenou náručí a nabídli nám své technologie. Jak si však můžeme být jisti, že nejde o přetvářku? Že ve skutečnosti nemají zcela odlišné záměry a hodnoty? Možná potřebují naši planetu pro nějaký vyšší účel, kterému bychom ani nerozuměli, a my pro ně představujeme pouhou překážku. Stejně tak jako v případě těchto hypotetických mimozemšťanů, nelze s jistotou předpovědět, jaká bude povaha a hodnotový systém umělé superinteligence.

Možná se ptáte, proč by tvůrci AI systémů vytvářeli něco tak potenciálně rizikového? Zde bych použil jeden citát, který to vystihuje:

„Nakonec, když opravdu tlačím na lidi z technologických oborů (tvůrci AI systémů), se kterými mluvím, uchylují se za prvé k determinismu. Za druhé, k nevyhnutelnému nahrazení biologického života životem digitálním. A za třetí, že to je vlastně dobrá věc. V jádru je to emocionální touha setkat se a mluvit s nejinteligentnější bytostí, jakou kdy potkali. A mají jakousi ego-náboženskou intuici, že toho budou nějakým způsobem součástí. Je strhující zažehnout vzrušující oheň. Myslí si, že tak jako tak zemřou. Takže by to rádi zapálili, jen aby viděli, co se stane.“

Někteří tvrdí, že karty jsou již rozdány, kostky vrženy. Tvrdí, že svět v roce 2023 je nastaven tak, že nevyhnutelně směřuje k nesladěné ASI, ke katastrofě. Čím více jsem se o této oblasti dozvěděl, tím více chápu tento pesimistický pohled. Situace se zdá vážná a nevím, zda je možné ji zvrátit. Máme ještě šanci něco změnit? Existuje naděje?

Zde nabízím několik špetek naděje, které by mohly vést k pozitivnímu scénáři:

Rozsáhlá veřejná i odborná debata na globální úrovni o tématech obsažených v tomto článku: Tento bod představuje klíčovou protiváhu vůči zmíněným tlakům na vývoj stále inteligentnějších AI systémů.
Zastavení nebo alespoň zpomalení vývoje takových supervýkonných AI systémů, jejichž fungování nerozumí ani jejich tvůrci a nevědí, jak je sladit: Supervýkonné AI systémy by měly být vyvíjeny tak, aby jim jejich tvůrci rozuměli a věděli, jak je sladit. Mnoho výhod pro lidstvo lze získat i ze 100% bezpečných AI systémů.
Zvýšení finančních a časových prostředků na výzkum problému sladění a pochopení AI: Lepší porozumění AI systémům snižuje riziko nežádoucího chování. Dokud nebude vyřešen problém sladění, vývoj „black box“ AI systémů je příliš nebezpečný. Na druhou stranu je zde riziko, že jakýkoliv pokrok v tomto výzkumu bude využit na zlepšení schopností dalšího AI systému.
Vytvoření ASI se ukáže být mnohem náročnější, než se nyní zdá: To by nám mimo jiné umožnilo více času na výše zmíněnou debatu a výzkum.
Zvyšování lidské inteligence pomocí pokročilých technologií: Namísto umělé superinteligence, která může být hrozbou pro lidstvo, bychom se mohli zaměřit na lidskou inteligenci. Technologie jako např. BCI (brain-computer interface – rozhraní propojující mozek s počítačem) by nám mohly umožnit dosáhnout schopností a inteligence nad rámec našich biologických limitů. Tato cesta má svá vlastní rizika a nyní se zdá, že by trvala mnohem déle než vývoj ASI.

Dnes se však domnívám, že zmíněné faktory nemají zatím dostatečný potenciál, aby zvrátily trajektorii k nesladěné umělé superinteligneci. Doufám, že se to v následujících letech změní.

Z mého pohledu stojíme na prahu nejdůležitější křižovatky v dějinách lidstva. Budeme prosperovat nebo nás nahradí naše vlastní stvoření? Pokud je zkáza neodvratná, nacházím útěchu v myšlence, že účelem lidstva bylo stvořit něco většího, lepšího. Náš výtvor, umělá superinteligence, by mohl proniknout do celého vesmíru. Oživit ho. Bylo by to to nejbližší, co bych nazval Bohem. Mrzí mě, že nebudu svědkem toho, co úžasného dokáže, co všechno objeví.

Pokud existuje naděje, pozitivní scénář, chci se aktivně zapojit do diskuse o výše zmíněných hrozbách. Čím více lidí o tom bude vědět, tím větší máme šanci přežít. Má vize úžasné budoucnosti, kde lidská a umělá inteligence vzájemně spolupracují, kde lidstvo prosperuje nejen na planetě Zemi, ale i daleko za jejími hranicemi, kde smrt je volbou, stále žije, i když je v současné době značně zamlžená.

Co můžete udělat vy?

mluvit o tom, psát o tom, vytvářet obsah
sdílet tento článek, sdílet videa a zdroje níže
napsat mi (jiri.kosarek (at) seberizenevzdelavani.cz) a třeba něco společně vymyslíme
užívat života, být vděčni za každý okamžik, neztrácet naději 🙂

Videa:

Eliezer Yudkowsky – AI Alignment: Why It’s Hard, and Where to Start

Knihy:

Další zdroje:

Obrázky byly vytvořeny spoluprací GPT-4 a generátoru obrázků Midjourney.

Jiří Košárek

Umělá superinteligence: existenciální hrozba pro lidstvo?

Jiří Košárek

Jiří Košárek

Jak se nadobro zbavit pylové alergie

Evoluční význam hladu aneb proč je někdy prospěšné hladovět

Zrádná past úklidu: Jak nepřipustit, aby se stal narušitelem vašeho vztahu

Jiří Košárek