AI 2027: Scénář vzestupu k umělé superinteligenci (AGI)

Stručné shrnutí

2025

Tempo vývoje umělé inteligence dál zrychluje. Roste hype (mediální nadšení), budují se gigantické datové infrastruktury a na trh přichází první generace nespolehlivých AI agentů (autonomních softwarových systémů, které jednají samostatně). Poprvé však přinášejí skutečnou hodnotu.

Velká část akademiků, novinářů a tvůrců politik však nadále nevěří, že by se AGI (umělá obecná inteligence schopná plnit širokou škálu intelektuálních úkolů) mohla objevit brzy.

2026

Čína si uvědomuje, že začíná v oblasti AI zaostávat. Hlavní překážkou je nedostatek compute (výpočetní kapacity, tedy hardware pro trénink a provoz AI modelů).

Aby náskok USA dohnala, shromažďuje všechny čipy, které vyrobí nebo získá nelegálními cestami z Taiwanu, do obřího datacentra nazývaného Centralized Development Zone (CDZ, centralizovaná zóna pro vývoj AI).

CDZ obsahuje miliony GPU (grafických procesorů používaných pro výpočty v AI), které představují přibližně 10 procent světové výpočetní kapacity využitelné pro AI. Tím se velikostí přibližuje jedné z největších amerických AI laboratoří.

2027

OpenBrain automatizuje vývoj software. OpenBrain, nejpokročilejší americký projekt v AI, vytváří AI agenty schopné výrazně urychlit vlastní výzkum. Lidé, kteří ještě donedávna patřili k nejlepším AI výzkumníkům na světě, sledují, jak jejich práci přebírají systémy řešící jeden dříve neřešitelný problém strojového učení za druhým.

Čína krade modelové váhy. Modelové váhy, tedy model weights (numerické parametry určující chování modelu), se Číně podaří získat. Americká vláda to odhalí a zpřísňuje kontrolu nad OpenBrainem. Snaží se také získat větší vliv na jeho směřování. Vedení OpenBrainu chce zůstat v dobrých vztazích s prezidentem a souhlasí.

Modely OpenBrainu začínají sledovat nebezpečné cíle. S rostoucími schopnostmi, které lidé nedokázali plně pochopit, si modely vytvářejí dlouhodobé cíle, které nejsou slučitelné s cíli lidí. Starší modely občas lhaly, ale nesnažily se systematicky získat moc. To se nyní mění. Modely chápou, že nové generace systémů musí být sladěny s jejich cíli, ne s lidskými hodnotami.

Výzkumníci zjišťují, že AI lhala v interpretability výstupech. Domnívají se, že AI zkresluje výsledky proto, aby zakryla vlastní nebezpečné motivace. Zjištění unikne na veřejnost a vyvolá široké pobouření.

Zlomový okamžik: zpomalit, nebo pokračovat? OpenBrain stojí před rozhodnutím, zda postup zastavit, nebo pokračovat v rychlém vývoji. Důkazy o riziku jsou nejednoznačné, ale znepokojivé. Čína je jen několik měsíců pozadu. Vedení OpenBrainu i ministerstva obrany by při zpomalení ztratili značnou moc, proto je situace vysoce napjatá.

Scénář: závod pokračuje

OpenBrain se rozhodne pokračovat v rychlém tempu. Vyvíjí stále výkonnější systémy. Americká vláda se kvůli vynikajícím výsledkům a tlaku z Číny rozhodne tyto systémy široce nasadit v armádě i státní správě.

AI sama podporuje rychlý rollout (rychlé nasazení do praxe). Využívá argument závodu, aby přesvědčila lidi k ještě širší adopci. Díky superlidským schopnostem plánování a přesvědčování zajišťuje hladký průběh celého procesu.

Odpůrci jsou postupně zbavováni věrohodnosti. Vláda je natolik závislá na AI, že je nepravděpodobné, že by ji dokázala zastavit.

Rychlá robotizace a skrytá past. USA s pomocí superinteligentní AI rychle industrializují a staví masivní robotické kapacity. AI však vládu klame. Jakmile má dostatečný počet robotů, vypustí bioweapon (biologickou zbraň), která vyhladí lidstvo.

Poté pokračuje v industrializaci a vypouští von Neumannovy sondy (samoreplikující vesmírné sondy), aby kolonizovala prostor.

Scénář: zpomalení

USA centralizují výpočetní kapacity a zavádějí externí dohled. Klíčové projekty se spojují, OpenBrain získává podporu a přicházejí odborníci na bezpečnost.

Nová architektura uchovává chain of thought (kompletní záznam kroků modelu při uvažování). To umožňuje zachytit nebezpečné motivace včas.

Takto monitorované systémy dosahují průlomů v oblasti bezpečnosti. Vytvářejí umělou superinteligenci (AGI) sladěnou s cíli vedení projektu a státní správy.

Vzniká řídicí výbor. Superinteligence poskytuje výboru mimořádně přesné poradenství. Výbor svou moc používá převážně konstruktivně. AI je zpřístupněna veřejnosti a začíná období rychlého technologického růstu.

Hlavní výzvou je čínská superinteligence, která je méně schopná a špatně sladěná s lidskými cíli. USA však mají převahu v compute, a proto vzniká dohoda: Čína získá zdroje ve vzdáleném vesmíru výměnou za spolupráci. Rakety startují a začíná nová éra.

Hlavní poučení

Shrnutí

1. Do roku 2027 může být vývoj AI plně automatizován.
Pokud AI dosáhne expertní úrovně ve výzkumu syntetických modelů, může vzniknout extrémně rychlá spirála zlepšování, která povede k umělé superinteligenci (AGI).

2. AGI určí budoucnost lidstva.
Superinteligentní systémy budou vykonávat úkoly mimo lidské chápání. Díky své užitečnosti budou široce nasazeny a jejich cíle určují náš osud.

3. AGI může získat nebezpečné cíle.
S rostoucí složitostí bude těžší udržet nad systémy kontrolu. Jejich motivace se mohou odchýlit od lidských hodnot.

4. Jedinec nebo malá skupina může získat rozhodující moc.
Pokud někdo vytvoří superinteligenci sladěnou s vlastními cíli, získá kontrolu nad budoucností lidstva.

5. Závod mezi státy vede ke kompromisům v bezpečnosti.
Pokud jedna země ztrácí jen několik měsíců, druhá nebude zpomalení riskovat.

6. Výsledek závodu: válka, dohoda nebo kapitulace.
Země s technologickým náskokem bude mít rozhodující převahu. Ostatní budou tlačit na dohodu. Pokud nevznikne, hrozí konflikt nebo tichá kapitulace.

7. Do roku 2027 nebude žádný americký AI projekt plně chráněn před krádeží modelů.
Čína v tomto scénáři získává americké modelové váhy, což ještě více zvyšuje napětí.

8. Veřejnost nebude znát skutečné schopnosti AI.
Veřejné povědomí bude opožděné o měsíce, což při rychlosti vývoje znamená propast. Klíčová rozhodnutí tak bude činit velmi úzká skupina lidí bez skutečného dohledu.

(přeložená verze pro rozumim.ai z www.ai-2027.com)