- Nejpravděpodobnějším katastrofickým scénářem je to, že AI obrátíme sami proti sobě
- Hlavním zdrojem neúmyslných problémů jsou chyby a nesprávné adaptace, které je obtížné předpovídat předem
- Některé z technologických katastrof mají až bizarní nádech, ale neumíme je předem vyloučit
Nepřehlédněte: Umělou inteligenci si musíme ochočit jako naši předci vlky, jinak dojde ke konfliktu, říká expert
Ruce pryč, armádo!
V prvním dílu seriálu jsem upozornil na to, že zdaleka největším rizikem je to, že AI naučíme bojovat proti lidem. Smysl válek je často obskurní a příčiny některých z nich lze těžko analyzovat i historicky, ale podstatné je, že pokud AI získá schopnost ovládat autonomně zbraně, překročíme červenou linii.
Autonomní zbraně přitom mohou vypadat výrazně jinak, než jako ty, které známe dnes. Nejrozšířenější představou je autopilot automatického letadla a nebo dronu a nebo řídící systém, který dovede ovládat tank. Velmi snadno lze ale vytvářet mnohem menší sebevražedné drony, jak to ukázal krátký film Slaughterbots (2019).
V něm je představena zbraň v podobě roje mikrodronů, které samostatně vyhledávají cíle a pak je ničí malým objemem výbušniny. Před vypuštěním roje se zadají parametry cíle, například rasa, věk a nebo pohlaví – a každý dron pak hledá svého člověka, kterému se před výbuchem nalepí na hlavu a tím ho zabije.
Takový typ zbraní známe dnes jako „fire and forget“ – a zvláště technologicky pokročilý Západ podobné věci miluje, protože mu to dává výhodu. Je to ale velmi nebezpečná výhoda, která jakoukoliv vyšší inteligenci přivede k otázce, že když lidi řeší svoje problémy tak, že se navzájem zabíjejí, proč by je tak nemohla problémy řešit i ona? To je otázka, kterou by si AI klást nikdy neměla – a popravdě, její příchod nám dává příležitost přehodnotit, jestli je zabíjení opravdu dobrá cesta i pro nás, pro lidstvo.
Ne všichni mají dobré úmysly
I když se státy dohodnou, že odmítnou AI zbraně a budou regulovat komerční AI technologie, je tu vždy riziko toho, čemu se v angličtině říká bad actors – a my bychom to mohli přeložit asi jako „zlí lidé“. Velké skupiny lidí, ať už jde o teroristy, korporace a nebo státy, které nerespektují žádné dohody, se dříve a nebo později dostanou k pokročilým technologiím a rozhodnou se replikovat je. Příkladem může být Severní Korea, která i před finanční a materiálové obtíže dokázala replikovat raketové a jaderné technologie.
Stejně, jako AI otevírá velký prostor pro účinné a skvělé technologie, nabízí velké možnosti právě i pro „zlé lidi“. Kryptoměny byly ve velkém použity pro výpalné útočníkům s ransomware, vlastní kryptoměny si zavedly i některé mafie, které je používají pro vzájemné vyúčtování, čímž komplikují policii sledování toků peněz. Je velmi pravděpodobné, že takoví lidé se dostanou k nějaké otevřené inteligenci a vycvičí si ji pro svoje vlastní potřeby nějakým hodně neetickým způsobem.
Zatím nemáme představu, jaké možnosti zlým lidem AI nabídne. Jak už upozornil Europol, ChatGPT může dovolit automatizovat podvody ve velkém rozsahu, přičemž je individualizuje (každému oklamanému bude systém tvrdit něco jiného a bude s ním individuálně komunikovat) a také podstatně zvýší úroveň komunikace, protože bude komunikovat nejen gramaticky správně, ale také stylem, který odpovídá tomu, co by podváděný čekal.
Dnes jsme se dostali do bodu, že máme jenom rámcovou představu o tom, jak zlí lidé AI zneužijí, ale také máme prakticky úplnou jistotu, že se to stane. Proto bychom se měli připravit na vlny automatizovaného hackingu a zvýšit bezpečnost našich systémů předem.
Lidstvo nedokáže změnit svou filozofii
Většina našich náboženství vyznává superioritu lidí nad zbytkem ostatního života. Tato filozofie, která říká, že jsme něco lepšího, protože jsme „obrazem Božím“, nám dává přesvědčení, že smíme devastovat zbytek ekosystémů planety, protože prostě je tu pro nás. Tato idea je obsažena v Aristotelově konceptu otrokářství, který vlastně říká, že vyspělejší, superiorní člověk smí zotročovat méně rozvinuté národy a zvířata, protože je to vlastně v jejich zájmu, v zájmu jejich rozvoje.
Přestože je tato část Aristotelovy filozofie dnes diskrétně přehlížena, obsahuje závažná témata. Aristoteles považuje otroctví za přirozené, pocházející z řádu věcí – a cesta z něj vede jen tak, že se otrok poučí o smyslu civilizace, civilizačně stoupne a pak se smí stát svobodným. Aristoteles tak mluví nejen o „věcech zdarma, protože leží ladem,“, kterým říkáme moderně externality, ale také o tom, že jenom ten, kdo dohoní civilizaci, má vlastně nárok být svobodný.
Co se stane, když získáme inteligenci, která nás převyšuje ve všech směrech? Má v takovém případě i nadále lidstvo právo na dominanci – a nebo poklesne mezi nižší formy života, které ta vyšší smí neomezeně využívat? Co se stane v případě, že lidé už nebudou schopní žádným způsobem umělou inteligenci ani předhonit, ani dohonit? Co si počnou věřící, kteří si myslí, že byli Bohem vyvoleni a jsou jeho oblíbenými tvory, když nás překoná něco výkonnějšího a tvořivějšího?
Lidstvo má příležitost podívat se samo na sebe a najít smysluplnější řád věcí, podobný například cyklickým náboženstvím, jako je hinduismus a nebo buddhismus, která akceptují všechny tvory a uznávají jejich pozici v řádu věcí.
Západní monoteismy jsou nejen v tomto směru hodně nafoukané, protože uznávají superioritu člověka, ale řada z nich jde dál a propagují superioritu některých lidí nad jinými, což se v minulosti stalo zdrojem mnoha konfliktů. Pokud se tato filozofie nezmění, jsme na kolizní cestě s umělou inteligencí, protože ta se bude logicky ptát, co je na lidech vlastně tak speciálního, že žádají jen samé benefity a výhody.
Vzestup antitechnických hnutí
Odpor lidí k technologiím je něco, s čím se můžeme setkat už ve starověku. V novověku ho známe jako hnutí ludditů, lidí rozbíjejících stroje v domnění, že jim berou práci. Jak upozorňuje většina ekonomů, technologické revoluce skutečně berou lidem práci, ale zároveň jim přinášejí novou, takže z toho lidstvo benefituje.
Nikdy jsme ale nebyli v situaci, že stroje berou lidem kreativní a vysoce oceňovanou duševní práci. Dokud stroje odstraňovaly stereotypní a sílu vyžadující činnosti, bylo to v pořádku, protože se lidé mohli soustředit na kontrolu strojů a na kreativní práce. Nikdy jsme se ale neocitli v situaci, kdy by stroje dokázaly dělat veškerou práci efektivněji a rychleji než lidé. Ostatně ani ekonomové, oslavující technologickou změnu, se nikdy neocitli v situaci, že je mohou nahradit levnější a výkonnější roboekonomové, kteří by technologickou změnu oslavovali rychleji, výkonněji a bez potřeby spánku.
Situace, do které vstupujeme je nová – a přinese existenční obavy mnohem většímu počtu lidí, protože nikdy dříve tolik povolání nebylo automatizovatelných. Vidíme to například u umělců, kteří si stěžují na výstupy Midjourney, která dokáže nahradit jak jejich malby, tak i fotografie, což jsou práce, které mají lidé rádi, protože jsou kreativní a zábavné. Už dnes si umělci stěžují, že se změnili na pouhé operátory umělé inteligence, protože ta si dokáže přes funkci /imagine představovat obrazy násobně rychleji, než je umělci zvládali kreslit. A to jde jenom o parciální umělou inteligenci, která umí jenom malovat!
V okamžiku, kdy se objeví obecná umělá inteligence (AGI, Artificial General Intelligence), bude okruh lidí, kteří se postaví proti strojům mnohem větší. Lidé potřebují práci, potřebují smysl a potřebují peníze – a jak se ukazuje, představa, že se o všechny postará stát, je spíše fikcí. Způsob, jak se podaří reorganizovat lidskou společnost, je klíčový jak pro budoucnosti lidí, tak i pro budoucnost strojů.
Nesmyslná optimalizace
Pod pojmem nesmyslná optimalizace se míní selhání, které je založeno ne na tom, že by umělá inteligence byla příliš chytrá, ale že je velmi specificky zaměřená na jednoduchý cíl, aniž by chápala jeho kontext a smysl.
Typicky je popisována jako tak zvaná sponková apokalypsa: Továrna řízená AI má za úkol vyrábět sponky – a tak je optimalizuje, dělá je stále rychleji, úplně ze všeho co má po ruce, nakonec i z lidí, protože plní jediný primární úkol: Vyrábět sponky, co nejvíce, co nejlevněji. Nakonec semele úplně všechno, celou planetu, ze které vznikne jenom koule tvořená sponkami.
Tento typ katastrofy je založen na tom, že omylem či nedopatřením vznikne systém, který si neuvědomuje, že někdy to už stačí, je to vlastně taková high tech variace na pohádku Hrnečku vař, kdy stroj nemá stop podmínku a ani si neuvědomuje, že by ji mít měl.
Extrémně cizí inteligence
Málo prozkoumanou možností je vznik cizí inteligence, tedy něčeho, co sice vyrobíme, ale jehož metody uvažování nám budou tak vzdálené, že tomu budeme rozumět stejně málo jako mimozemšťanům. Taková inteligence bude lidem nesrozumitelná a tím bude působit nebezpečně, protože vše, čemu lidé nerozumí, považují za podezřelé.
Umělé neuronové sítě se dokážou učit, ale nedokážou vysvětlovat proces, který je vede k jejich dedukcím, což z nich v 70. a 80. letech činilo určité vyvrhele. Lidé preferovali expertní systémy, které dokázaly vysvětlit svoje uvažování krok za krokem, což činilo jejich chyby pochopitelné a pro lidi tak šlo o přijatelnější model. Současné systémy autonomního učení (deep learning) svoje úvahové procesy vysvětlovat nedovedou – ale jejich výsledky jsou tak nepopiratelně impozantní, že je používáme stále více.
Riziko, že se se autonomní systémy naučí vidět svět „tak nějak po svém“, že nebudou schopné lidem vysvětlovat svoje myšlenkové kroky, tu ale stále existuje. Je dokonce možné, že to je riziko inherentní pro extrémně inteligentní systémy: Jen málokterý génius z řad lidí dokáže svoje uvažování vysvětlovat srozumitelně – a vlastně potřebujeme celou škálu lidských inteligencí, které nám vysvětlují, čím se geniální lidé zabývají a proč.
Je vysoce pravděpodobné, že i u umělých inteligencí budeme potřebovat meziinteligence, které nám budou vysvětlovat jejich závěry a postup jejich uvažování.
Nanoapokalypsa a příliš úspěšný umělý život
V případě vzniku nanotechnologií, tedy miniaturních autonomních agentů, může nastat situace pojmenovaná jako nanoapokalypsa. Jde vlastně variaci šílené továrny na sponky, jen s tím rozdílem, že ji provádějí samy nanoelementy, schopné replikace. Pokud se utrhnou ze řetězu, hrozí, že začnou neomezeně vyrábět samy sebe a postupně zaplavovat svět, jako by to byla nějaká nemoc a nebo rakovina.
Toto není fiktivní scénář, protože takto velmi pravděpodobně vznikl život samotný. Primitivní bakterie, buňka schopná replikace, se začala nekontrolovatelně množit a zaplavila celý svět, v podstatně limitována jenom extrémními fyzikálními parametry, které bránily její další replikaci. I tak mikroorganismy ovládly celý svět od hornin v podzemí po vysoké vrstvy atmosféry – všude tam je život, který se utrhl ze řetězu a pokouší se žít všude, kde se dá.
Katastrofa, která s tím může být spojená, spočívá v tom, že vyvineme nanotechnologie, tedy Život 2.0 – a ten bude tak úspěšný, že pozře původní biologický život. Tato situace může nastat mnoha způsoby, počínaje vývojem nanozbraní a konče chybou při programování a nebo při replikaci.
Nanotechnologie předpokládají velký počet elementů a jsou ze své podstaty statisticky riskantní, protože stačí jediná chyba, podobná té evoluční, aby se nanoživot začal replikovat neomezeně. V případě, že bude konkurovat tomu přirozenému a bude úspěšnější, můžeme mít Evoluci 2.0, která kompletně smaže tu původní, biologickou.
V posledním dílu série se podíváme na to, jak se vyhnout AI způsobeným katastrofám – a jak se (možná) dostat do utopické budoucnosti.
Další články autora:
- Umělou inteligenci si musíme ochočit jako naši předci vlky, jinak dojde ke konfliktu, říká expert
- Umělá inteligence versus Google: Budeme muset kvůli AI předělat většinu internetu?
- Revoluční GPT-4: Umělá inteligence zařadila čtvrtý převodový stupeň. Může se vymknout kontrole?
- Věčná válka iOS a Androidu nikdy neskončí. A to je vlastně dobře, profitujeme z toho všichni!
- Jak moc jsme dnes augmentovaní? Člověka pomalu nahrazuje nový lidský druh Homo kyborgis
- Česko se vydá k Měsíci! Proč je cesta tanečníka Yemiho o naději, kterou nám nedají ani politici, ani armáda?
- Otevřené WikiLeaks nám ukazují pravou podstatu světa. Z pekelné knihy hříchů se mnohým zatočí hlava
- Dobrý sluha, ale zlý pán? Na umělé inteligenci v chytrých telefonech jsme čím dál víc závislí
- Bez perexů a bez dezinformací: Zoufalí lidé dělají zoufalé věci, ukazuje novela mediálního zákona
Zdroj náhledové fotografie: Thanh_Nguyen_SLQ / Pixabay, zdroj: vlastní (viz autor článku).