Šéf spoločnosti Anthropic Dario Amodei v sobotu 12. septembra vyzval celý sektor umelej inteligencie na spomalenie vývoja AI. Vo svojom novom blogovom príspevku napísal, že firmy musia spomaliť tempo, akým zlepšujú schopnosti svojich modelov, a navrhol konkrétne kroky, ako to dosiahnuť. K výzve sa pridali aj šéf OpenAI Sam Altman a Elon Musk, čo naznačuje, že debata o bezpečnosti AI sa z teoretickej roviny presúva k praktickým opatreniam.
Amodei navrhuje nezávislý dohľad a spoločné pravidlá
Amodei vo svojom texte uviedol dva dôvody, prečo pristúpil k tejto výzve: nedávny bezpečnostný incident spojený s OpenAI a Hugging Face, a rýchlo rastúcu schopnosť AI modelov vylepšovať samy seba. „Musíme spomaliť tempo, akým zlepšujeme schopnosti AI modelov,“ napísal doslova. Ako prvý krok navrhol, aby si firmy k sebe pustili nezávislých hodnotiteľov z organizácií, ako je METR, ktorí by overovali, či spoločnosti dodržiavajú vlastné bezpečnostné sľuby a hlásia bezpečnostné incidenty. Anthropic sa podľa Amodeiho k tomuto kroku zaväzuje jednostranne, hodnotiteľom dá prístup porovnateľný s internými tímami pre riadenie rizík, vrátane vstupných preukazov a pracovných miest priamo vo firme. Ako druhý krok navrhol, aby sa popredné AI firmy v demokratických krajinách dohodli na spoločných bezpečnostných štandardoch a limitoch na tempo nekontrolovaného pokroku. Sám pritom pripustil, že takáto koordinácia môže naraziť na antitrustové obmedzenia a bude si vyžadovať súčinnosť vlády USA.
Podporu vyjadrili aj Altman a Musk
Sam Altman na Amodeiho výzvu reagoval slovami, že s potrebou spomaliť tempo súhlasí a že je to téma, o ktorej sa v OpenAI v posledných týždňoch intenzívne diskutuje. Návrh nezávislých hodnotiteľov označil za dobrý nápad a sľúbil, že OpenAI čoskoro predstaví podobný krok. Elon Musk pridal stručný komentár, že Amodei má pravdu. Podľa portálu The Decoder sa k výzve čiastočne pripojil aj Demis Hassabis z Google DeepMind, ktorý súhlasí s potrebou nezávislého dohľadu nad laboratóriami vyvíjajúcimi najvyspelejšie modely. Debata o riziku umelej inteligencie sa vyostrila aj po tom, čo z Anthropicu nedávno odišiel výskumník, ktorý tvrdil, že popredné AI firmy „hazardujú s našimi životmi“. Podobné obavy vyjadril krátko predtým aj iný výskumník spoločnosti, ktorý upozorňoval na riziká straty kontroly nad AI.
Odklad IPO OpenAI súvisí s obavami o bezpečnosť
V rovnakom čase Altman potvrdil pre magazín Fortune, že OpenAI tento rok nevstúpi na burzu, a ako dôvod uviedol práve obavy o bezpečnosť. Rozhodnutie podľa vlastných slov oznámil interne už v júni. Časť komentátorov ale upozorňuje, že dôvodom môžu byť aj slabšie hospodárske výsledky OpenAI v porovnaní s Anthropicom, ktorý naopak plánuje vlastné IPO a záujem oň prejavila aj Nvidia. Obe vysvetlenia sa navzájom nevylučujú.
Nie všetci s Amodeim súhlasia
Amodeiho argumentáciu spochybnil výskumník Googlu Peyman Milanfar. Podľa neho je predstava, že AI dokáže nekontrolovane sama seba vylepšovať, naivná, pretože spätné väzby v takýchto systémoch sú nestabilné. Čím viac sa systém snaží optimalizovať sám seba, tým skôr narazí na vlastné slepé miesta, tvrdí Milanfar, a spoľahlivé poznatky prichádzajú len z reálneho sveta, nie z benchmarkov. Amodeiho takzvaný rýchlostný limit preto považuje za zbytočný, pretože podľa neho stabilita sama osebe funguje ako brzda pokroku. Debata tak ukazuje, že medzi poprednými odborníkmi stále nepanuje zhoda na tom, aké riziko samozlepšujúca sa AI skutočne predstavuje.
Čo to znamená pre firmy
Amodeiho výzva naznačuje, že vývoj najvyspelejších AI modelov sa v najbližšom období nemusí zrýchľovať tak dramaticky ako doteraz. Ak popredné laboratóriá naozaj pristúpia na nezávislý dohľad, firmy nasadzujúce AI nástroje môžu očakávať pomalšie, no možno predvídateľnejšie a lepšie otestované vydania nových modelov. Zároveň je to pripomienka, že aj firmy, ktoré AI len využívajú vo svojom podnikaní, by mali sledovať, ako dodávatelia modelov pristupujú k bezpečnosti a transparentnosti, keďže to priamo ovplyvňuje spoľahlivosť nástrojov, na ktoré sa spoliehajú. Podobné otázky si nedávno kládol aj hlavný vedecký pracovník OpenAI, ktorý varoval pred tempom automatizovaného výskumu.
