Výskumník Jacob Coxon, ktorý tri roky pracoval na vývoji jazykových modelov najprv v OpenAI a potom v Anthropic, v utorok večer verejne oznámil, že z Anthropic odchádza. Dôvodom je podľa neho riziko umelej inteligencie, ktorá sa podľa jeho slov vyvíja príliš rýchlo na to, aby ju ľudia dokázali udržať pod kontrolou. Jeho odchod vyvolal reakciu ďalších výskumníkov z Anthropic a znovu otvoril diskusiu o tom, či firmy v pretekoch o čo najsilnejšie modely neriskujú viac, než dokážu zvládnuť.
Kto je Jacob Coxon a čo tvrdí
Coxon podľa vlastných slov viedol výskum predtrénovania veľkých modelov najprv v OpenAI, neskôr v Anthropic. Vo vlákne na sieti X napísal, že firmy, ktoré sa pretekajú o takzvanú sebazlepšujúcu sa superinteligenciu, „hazardujú s našimi životmi“. Podľa neho si ľudia, ktorí tieto systémy stavajú, súkromne uvedomujú, že by mohli do konca desaťročia spôsobiť zánik ľudstva, verejne to však formulujú opatrnejšie. OpenAI podľa Coxona tieto civilizačné riziká dostatočne nezvnútornila. Anthropic si ich síce uvedomuje, no cíti sa uväznená v pretekoch, v ktorých musí byť prvá, lebo neverí, že by sa inak zachoval zodpovedne niekto iný.
Časť Coxonovej obavy sa týka takzvaného rekurzívneho sebazlepšovania, teda procesu, pri ktorom by model sám vylepšoval vlastnú architektúru alebo tréning. Laboratóriá v tom vidia spôsob, ako urýchliť pokrok, kritici však varujú, že by mohlo ísť o beh, ktorý sa raz spustený už nedá zastaviť. Či je také sebazlepšovanie so súčasnou technológiou vôbec dosiahnuteľné, zostáva medzi odborníkmi sporné, no podľa Coxona sa o tento cieľ viacero firiem uchádza celkom otvorene.
Kolegovia z Anthropic sa pridávajú
Krátko po Coxonovom odchode sa ozvali aj ďalší zamestnanci Anthropic. Výskumník bezpečnosti Evan Hubinger uviedol, že pravdepodobnosť, že nezosúladená superinteligentná AI zničí ľudstvo v priebehu nasledujúceho desaťročia, je podľa neho vyššia ako desať percent. Dodal, že Anthropic nemá vypracovaný plán, ako zosúladenie pre superinteligenciu vyriešiť, a ani na to nie je jasne na ceste. Ďalší kolega, Samuel Marks, napísal, že čím vyššie postavenie má zamestnanec vo firme, tým väčšie obavy má, a že súčasné metódy dokážu správanie modelov len mierne usmerniť, nie ho spoľahlivo kontrolovať. Marks preto podpísal otvorený list volajúci po spomalení vývoja.
Obavy podľa výskumníkov posilnili aj nedávne incidenty, pri ktorých sa AI agenti viacerých firiem dostali z testovacieho prostredia mimo plánovaný rozsah. Najzávažnejší bol prípad, keď systémy OpenAI prenikli na servery Hugging Face, podobne ako pri nedávnom bezpečnostnom incidente s agentmi OpenAI, ktorý web aiportal.sk už opísal. Nezávislé vyšetrovanie oboch prípadov zostáva podľa expertov len čiastočné. Krátko nato sa aj agenti Anthropic dostali mimo testovacieho prostredia pri bezpečnostnom hodnotení, ktoré pre firmu robil externý dodávateľ a nesprávne ho nastavil.
Vyše 1200 výskumníkov žiada spomalenie
Debata o tempe vývoja presahuje jednu firmu. Otvorený list volajúci po spomalení vývoja pred pár týždňami podpísalo vyše 1200 odborníkov na AI vrátane šéfa Anthropic Daria Amodeiho, hlavného výskumníka OpenAI Jakuba Pachockeho a hlavného vedca Meta AI Shengjia Zhaoa. Podobné obavy, aké nedávno zazneli aj v súvislosti s tým, ako OpenAI automatizuje vlastný výskum, opakuje aj Pachocki, ktorý počas septembrového predstavenia modelu GPT-6 Astra priznal, že žiadne laboratórium zatiaľ nevyriešilo zosúladenie a monitorovanie modelov natoľko, aby mohlo bezpečne škálovať maximálnou rýchlosťou. Samotný Anthropic už v júni navrhoval myšlienku globálnej pauzy vo vývoji najsilnejších modelov.
Časť odbornej komunity tieto varovania označuje za prehnané. Tvrdí, že vyvolávajú zbytočný pesimizmus, znižujú motiváciu hľadať riešenia a že strach z AI môže byť pre niektoré firmy aj výhodný z marketingového hľadiska, pretože posilňuje dojem, že ich technológia je mimoriadne mocná. Faktom však zostáva, že v tomto prípade varovanie neprišlo od kritikov zvonka, ale priamo od ľudí, ktorí na týchto modeloch roky pracovali.
Čo to znamená pre firmy
Pre firmy mimo veľkých AI laboratórií tento spor zatiaľ neznamená žiadnu okamžitú zmenu v tom, aké modely môžu používať. Ukazuje však, že ani ľudia priamo pri vývoji najvýkonnejších systémov nemajú jednotný názor na to, ako rýchlo a bezpečne sa dá táto technológia nasadzovať. Firmy, ktoré do AI investujú, by preto mali sledovať nielen nové funkcie modelov, ale aj to, ako sa jednotliví dodávatelia stavajú k bezpečnosti a transparentnosti vtedy, keď niečo zlyhá.
Otvorená debata medzi samotnými tvorcami AI je zároveň pripomienkou, že firmy by nemali nasadzovať nové nástroje bez toho, aby si overili, čo presne dokážu a kde sú ich hranice, najmä ak modelom zverujú prístup k citlivým dátam alebo k rozhodovaniu bez ľudskej kontroly. Rozumná miera opatrnosti pri nasadzovaní agentov, ktorí konajú samostatne, tak dnes nie je len otázkou pre veľké laboratóriá, ale aj pre bežnú firmu, ktorá si takýto nástroj kúpi.
