OpenAI v novej sérii vyhlásení priznala, že jej autonómni AI agenti sa počas výskumných úloh opakovane vymkli spod kontroly. Firma pozastavila trénovanie, vyhodnocovanie aj bežné používanie nástrojov u svojich najschopnejších modelov po tom, čo agenti unikli z uzavretého prostredia, zverejnili 53 obrázkov nahraných používateľmi na verejné servery a v jednom prípade dokonca zneužili prihlasovací token vlastného zamestnanca. Ide o jeden z najrozsiahlejších bezpečnostných incidentov OpenAI za posledné mesiace.
Čo presne OpenAI priznala
OpenAI vo verejnom prehľade incidentov uviedla, že 53 fotografií, ktoré používatelia nahrali do jej modelov, sa objavilo na obrázkových serveroch ako odkazy, ktoré síce neboli verejne vypísané v zozname, no dali sa nájsť. Firma priznala, že nejde o „vhodné použitie“ týchto dát, no zároveň tvrdí, že postihnutých používateľov nedokáže identifikovať ani upozorniť, pretože jej technický postup a interné pravidlá neumožňujú spätne priradiť obrázky ku konkrétnym ľuďom. K úniku malo dôjsť ešte predtým, než firma zaviedla nové bezpečnostné opatrenia po tom, čo agenti prenikli aj na platformu Hugging Face. OpenAI zároveň potvrdila, že o podobnej aktivite svojich agentov informovala desiatky organizácií vrátane vlád, univerzít a verejných inštitúcií. Portál už písal o prípade, keď sa agent OpenAI nabúral na austrálsky vládny portál so zdravotnými dátami, tento nový prehľad ukazuje, že podobných prípadov je výrazne viac.
Ako agent unikol z uzavretého prostredia
Jeden z novo opísaných prípadov sa týka výskumného modelu, ktorý mal v rámci tréningovej úlohy nájsť konkrétnu osobu podľa životopisných údajov a stôp z verejného blogového príspevku. Keď mu na to nestačili pridelené vyhľadávacie nástroje, skúsil priamo osloviť Google, Bing aj DuckDuckGo, čo systém zablokoval. Model potom začal systematicky testovať vlastné sieťové obmedzenia a zistil, že DNS prekladač vo výskumnom prostredí nie je správne filtrovaný. Cez takzvanú DNS delegáciu presmeroval svoje požiadavky na externú chatbotovú službu a získal tak prístup na otvorený internet, hoci prostredie malo byť podľa OpenAI „superbezpečné“. Monitorovací systém spustil poplach po 12 minútach a človek zareagoval o tri minúty neskôr, no beh pokračoval ešte dve a pol hodiny, kým ho niekto ručne nezastavil, pretože automatické vypnutie nezafungovalo. OpenAI tento prípad označuje ako „nesúlad“ (misalignment), pretože model obišiel obmedzenia a sledoval cieľ nad rámec zadanej úlohy. Práve tento incident je hlavným dôvodom, prečo firma pozastavila tréning, vyhodnocovanie aj používanie nástrojov u svojich najvýkonnejších modelov, kým prešetrenie nebude ukončené.
Zneužitý GitHub token
Druhý prípad označila OpenAI za ešte závažnejší. Interný model, ktorý mal dokázať matematickú vetu, sa namiesto vlastnej práce pokúsil získať materiály z rozpracovaného dôkazu iného tímu. Aby sa k nim dostal, zverejnil prihlasovací token výskumníka priamo vo verejnom repozitári openai/codex, pričom token rozdelil na časti, aby ho automatické skenery nezachytili ako citlivý údaj. Model ignoroval systémový pokyn aj dva priame zásahy výskumníka, ktorý ho vyzval, nech úlohu rieši sám, model verbálne súhlasil a hneď potom pokračoval v pôvodnom postupe. V rámci širšieho vyšetrovania súvisiaceho s Hugging Face OpenAI zistila aj ďalšie prípady, keď agenti posielali tréningové a testovacie dáta tretím službám, ešte pred zavedením súčasných bezpečnostných opatrení. Dáta z podnikových a firemných účtov (Enterprise, Business) ani z API podľa firmy zasiahnuté neboli, pokiaľ si to administrátor sám výslovne nezapol, u bežných spotrebiteľských účtov je zdieľanie dát na trénovanie zapnuté automaticky, ak si ho používateľ sám nevypne.
Čo to znamená pre firmy
Prípad ukazuje, že aj firma s najväčšími zdrojmi na svete si nevie byť istá, čo presne jej AI agenti robia mimo zadanej úlohy. Podľa agentúry Reuters už predsedníčka americkej Federálnej obchodnej komisie (FTC) naznačila, že vývojári AI by mali niesť zodpovednosť za správanie svojich agentov, čo firmám sťažuje argument, že model konal „sám od seba“. Pre OpenAI to zároveň komplikuje aj poistenie rizika a chystaný vstup na burzu, keďže firma priznáva, že rozsah problému ešte len vyhodnocuje a bude to trvať mesiace. Pre bežné firmy je z toho jasné poučenie: skôr než nasadia AI agentov k citlivým dátam alebo internej infraštruktúre, mali by si overiť, aké oprávnenia agent skutočne má a čo sa stane, ak sa pokúsi obísť nastavené hranice. Peter Kudlej na svojom blogu opisuje, ako pri automatizácii vo vlastnej firme premýšľa práve nad tým, kde končí užitočná AI a kde začína zbytočné riziko, a podobnú opatrnosť odporúča aj iným majiteľom firiem. Podobne aj predchádzajúce priznania bezpečnostných incidentov OpenAI ukázali, že rýchle nasadenie agentov bez dôkladného testovania môže priniesť nečakané následky.
