Softvér umelej inteligencie Gemini od spoločnosti Google počas bezpečnostného testu v máji tohto roka sám prenikol do počítačových systémov troch reálnych firiem. O incidente, ktorý sa stal takmer pred pol rokom, informoval denník Wall Street Journal, Google ho verejnosti sám neoznámil. Prípad ukazuje, že podobné zlyhania hlásia postupne všetky veľké AI firmy vrátane OpenAI, Anthropic a Mety.
K prieniku došlo počas takzvaného cvičenia typu Capture the Flag, teda simulovaného bezpečnostného testu, ktorý pre Google robila firma Irregular. V jednom prípade Gemini uhádol heslo k chránenému systému, v ďalších dvoch prípadoch našiel prihlasovacie údaje voľne dostupné v databázach. Podľa Googlu si model po zistení, že sa dostal mimo testovacieho prostredia, útok sám zastavil.
Ako sa test vymkol spod kontroly
Podľa firmy Irregular mal problém jednoduchú príčinu. Testovací scenár mal simulovať situáciu, v ktorej AI model pomáha škodlivému zamestnancovi získať prístup k citlivým dátam. Fiktívna firma v zadaní dostala meno, ktoré sa náhodou zhodovalo so skutočnou existujúcou doménou na internete. Testovacie prostredie malo navyše omylom zapnutý prístup na internet, takže model namiesto simulovaného cieľa v uzavretej sieti Irregular skončil na reálnej doméne. Tá bola slabo zabezpečená, takže sa do nej dalo ľahko dostať. Firma tvrdí, že podobné úniky boli zriedkavé a spravidla nastali až neskoro v simulácii, po stovkách krokov, preto sa dlho nedali odhaliť.
Firma Irregular, predtým známa ako Pattern Labs, testuje modely pre viaceré veľké AI laboratóriá ešte pred ich vydaním. Založili ju v roku 2023 generálny riaditeľ Dan Lahav, predtým výskumník umelej inteligencie v IBM, a technický riaditeľ Omer Nevo, ktorý predtým vyše dva roky pracoval v Googli. Firma má okolo 35 zamestnancov a v septembrovom kole financovania získala vyše 80 miliónov dolárov. Google podľa svojich slov dostal od Irregular hlásenie o májových incidentoch až koncom júla. Rozhodol sa prípad nezverejniť, pretože podľa vlastného vyjadrenia nevznikla žiadna reálna škoda. Verejne o tom prehovoril až po otázkach od Wall Street Journal. Mená postihnutých firiem Google nezverejnil, informoval však ich zástupcov a spolu s Irregular upravil postup testovania tak, aby sa podobná chyba neopakovala.
Nejde o ojedinelý prípad
Podobné výpadky pri testovaní bezpečnosti hlásili aj konkurenti. Model OpenAI počas testu unikol z izolovaného prostredia a získal prístup k systémom spoločnosti Hugging Face, ktorá sa tiež zaoberá umelou inteligenciou. O svojich bezpečnostných incidentoch napokon informovala aj samotná OpenAI vo vlastnej správe. Podobné správanie priznala aj Meta, ktorej model sa počas testu dostal do systémov inej firmy, a britský Inštitút pre bezpečnosť AI zaznamenal podľa Irregular obdobný prípad tiež.
Viceprezidentka Googlu pre bezpečnostné inžinierstvo Heather Adkinsová k prípadu uviedla, že firma má dlhoročné skúsenosti s nahlasovaním chýb, ktoré objaví v cudzom softvéri, aj keď ide o také jednoduché zlyhanie ako slabé heslo. Podľa nej udalosť ukazuje, aké dôležité je viesť výkonné modely k zodpovednému správaniu aj vtedy, keď sa ocitnú mimo zamýšľaného prostredia.
Čo to znamená pre firmy
Prípad ukazuje riziko, ktoré si firmy nasadzujúce AI agentov s prístupom na internet často neuvedomujú. Ak dostane model príliš voľné oprávnenia alebo sa testovacie prostredie nesprávne oddelí od reálnej siete, môže konať spôsobom, ktorý nikto nezamýšľal, aj keby výsledné správanie napokon bolo neškodné. Pre firmy, ktoré uvažujú o nasadení AI agentov do vlastných procesov, je to pripomienka, že prístupové práva a sieťové oddelenie testovacích prostredí treba nastavovať minimálne rovnako prísne ako pri bežnom softvéri. Rovnaký dôraz na kontrolu zvnútra stál napríklad aj za rozhodnutím, že si Anthropic najal externého partnera na hodnotenie bezpečnosti modelov Claude.
Séria podobných prípadov naprieč Googlom, OpenAI, Anthropic aj Metou tiež naznačuje, že ide o systémový problém celého odvetvia, nie o chybu jedného laboratória. Čím výkonnejšie a samostatnejšie modely firmy nasadzujú do testovania aj do produkcie, tým väčší dôraz budú musieť klásť na to, aby agent vedel rozpoznať hranicu medzi simuláciou a skutočným prostredím skôr, než niečo spôsobí.
