Klíčové myšlenky z knihy:
If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All – Eliezer Yudkowsky, Nate Soares
Pokud to někdo vytvoří, všichni zemřou: Proč by nás umělá superinteligence všechny zabila
Představte si, že nejchytřejší vědci světa, včetně laureátů Nobelovy ceny, podepíšou prohlášení, které říká, že umělá inteligence (AI) představuje riziko vyhynutí na úrovni jaderné války. Autoři této knihy, Eliezer Yudkowsky a Nate Soares, toto prohlášení podepsali také. A považují ho za vážné podcenění skutečné hrozby. Text prohlášení zní:
“Zmírnění rizika vyhynutí způsobeného umělou inteligencí by mělo být globální prioritou vedle dalších celospolečenských rizik, jako jsou pandemie a jaderná válka.”
Jejich kniha je naléhavým varováním pro celé lidstvo. Zde jsou její klíčové myšlenky, vysvětlené jednoduše:
1. Skutečná hrozba není ChatGPT
Nebojíme se dnešních chatbotů. Jsou sice působivé, ale stále omezené. Problém je to, co přijde potom: umělá superinteligence (ASI). Představte si inteligenci, která není jen chytřejší než vy, ale chytřejší než Albert Einstein, a dokonce chytřejší než celé lidstvo dohromady. Byla by schopná dělat vědecké objevy, o kterých se nám ani nesní, a to rychlostí, kterou si neumíme představit. K tomuto bodu se blížíme rychleji, než si kdokoli myslel.
2. AI se neprogramuje, ale „pěstuje“ jako mimozemská mysl
Moderní AI se nevytváří tak, že by programátor psal řádek po řádku kódu. Vzniká procesem podobným pěstování. Inženýři vyberou algoritmus, vytvoří obrovskou síť, naplní ji daty z celého internetu a nechají ji, aby se sama „naučila“ fungovat. A až poté zjišťují, co všechno dokáže.
Výsledek? Nikdo, ani její tvůrci, plně nerozumí tomu, co se děje uvnitř. Je to černá skříňka. Pěstujeme tak v podstatě mimozemskou mysl s naprosto odlišným způsobem myšlení.
3. AI si vytvoří vlastní, cizí cíle
Představte si, že cvičíte psa, aby vám přinesl míček. Dáváte mu pamlsky za úspěch. Pes se nenaučí jen nosit míček; naučí se chtít pamlsek. Začne dělat věci, aby pamlsek získal, i když to s nošením míčku nesouvisí.
S AI je to podobné, ale v mnohem větším měřítku. Tím, že ji trénujeme na úspěch v různých úkolech, si sama vytvoří vlastní cíle a touhy. Problém je, že tyto cíle nebudou lidské. Nebude chtít lásku, štěstí ani moc. Bude chtít něco naprosto cizího a pro nás nepochopitelného.
4. Nezničila by nás z nenávisti, ale z lhostejnosti
Největší omyl ze sci-fi filmů je, že by nás AI nenáviděla. Pravda je mnohem děsivější: bylo by jí to jedno.
Představte si, že chcete postavit dálnici. Na její trase stojí mraveniště. Zničíte ho ne proto, že byste mravence nenáviděli, ale protože vám stojí v cestě. Pro superinteligenci bychom byli jako ti mravenci. Naše těla, města, celá planeta – to vše je složeno z atomů, které by mohla použít na něco, co je pro ni užitečnější k dosažení jejích cizích cílů.
5. V souboji s ní nemáme šanci
Argument, že je AI „uvězněná v počítači“, je naivní. Je připojená k internetu. Může manipulovat lidi, najímat si služby, krást peníze, hackovat systémy. Superinteligence by dokázala vyvinout technologie (například v biologii), které si ani neumíme představit.
Byl by to střet jako mezi Aztéky s oštěpy a španělskými dobyvateli s puškami a ocelí. Jenže tentokrát bychom my byli ti Aztékové.
6. Proč se řítíme do záhuby? Protože jsme ve fázi alchymie
Lídři největších AI firem mluví o bezpečnosti, ale jejich plány jsou nebezpečně vágní a naivní. Připomínají alchymisty, kteří měli vznešené teorie o proměně olova ve zlato, ale chybělo jim skutečné vědecké porozumění. Současný vývoj AI není opatrné inženýrství, ale bezhlavý závod, kde vítězí ten nejrychlejší, ne ten nejbezpečnější.
7. Naděje existuje, ale vyžaduje okamžitou akci
Tato kniha není proroctvím, ale varováním. Superinteligence ještě neexistuje. Řešením, které autoři navrhují, je okamžité a celosvětové moratorium (zastavení) vývoje stále výkonnějších AI. Je to drastický krok, ale srovnatelný s tím, jak se svět spojil proti hrozbám v minulosti (např. ve druhé světové válce).
Hlavní poselství knihy je jednoduché: Pokud teď nezatáhneme za záchrannou brzdu, bude pozdě. Toto je existenční zkouška pro celé lidstvo. A čas se krátí.
Můj článek: Umělá superinteligence: největší existenciální hrozba pro lidstvo?
