Anthropic 10. septembra zverejnil svoju doteraz najpodrobnejšiu správu o zneužívaní modelu Claude. Dokument s rozsahom 154 strán opisuje prípady zaznamenané medzi decembrom 2025 a augustom 2026, keď sa jednotlivci aj štátom prepojené skupiny pokúšali Claude použiť na vývoj zbraní, sledovanie disidentov, podvody či dezinformačné kampane. Medzi páchateľmi boli podľa Anthropicu podozriví štátom platení aktéri, finančne motivovaní zločinci, komerční dodávatelia špehovacieho softvéru aj politicky motivovaní jednotlivci. Anthropic tvrdí, že každú z popísaných operácií odhalil a zastavil, správa je dôležitá najmä preto, že po prvý raz v takom rozsahu ukazuje, ako sa bežne dostupné AI modely reálne zneužívajú mimo laboratórnych testov.
Zbrane a vojenský vývoj
Správa opisuje šesť prípadov, keď sa Claude použil na vývoj konvenčných zbraní, tri v Číne, dva v Rusku a jeden v Jemene. V Jemene skupina rozdelila prácu do samostatných konverzácií, aby sa vyhla detekcii, a vyvíjala tri programy naraz: navádzanú raketu, viacstupňovú balistickú strelu s deklarovaným dosahom nad 2 000 kilometrov a varianty striel vrátane hypersonického klzáka. Jeden raketový test podľa Anthropicu zlyhal, no práce na zvyšných dvoch programoch pokračovali ďalej, kým ich Anthropic neodhalil. V Rusku malý tím pravdepodobne nezávislých vývojárov vytváral softvér pre autonómne kamikadze drony, ktoré si mali samy vyberať ciele, pričom si cez VPN obchádzali geografické obmedzenia a tvrdili, že majú podporu ruskej armády.
Sledovanie a potláčanie disidentov
V Mali podľa Anthropicu technický konzultant spolupracujúci so štátnou spravodajskou službou ANSE vytvoril sledovací systém s názvom Lakana 360, ktorý dokázal monitorovať približne 25 miliónov SIM kariet, zachytávať hovory a správy a identifikovať ľudí podľa hlasu. V Číne Anthropic zablokoval skupinu účtov napojených na orgány štátnej bezpečnosti, ktoré Claude využívali na takzvanú stabilizáciu, teda termín, ktorým Komunistická strana Číny označuje potláčanie disentu. Ďalší aktér spojený s mestskou kybernetickou políciou prevádzkoval pomocou Claude domáci sledovací systém, ktorý označil desať čínskych občanov za ciele, medzi nimi zástancov demokracie v Hongkongu, organizátorov spomienok na masaker na námestí Tchien-an-men aj obhajcov práv Ujgurov a ľudských práv na Západe.
Podvody a dezinformácie
Vo Francúzsku reklamná agentúra LKM Company podľa správy prevádzkovala službu propagandy na objednávku, v rámci ktorej vytvorila vyše 8 900 článkov na približne 70 falošných spravodajských weboch v okolo dvadsiatich jazykoch, s vymyslenými menami novinárov a koordinovaným šírením na sociálnych sieťach. V Číne Anthropic zaznamenal viac ako 20 zoznamovacích aplikácií so 4 700 AI postavami, ktoré sa počas dvoch aprílových týždňov prihovárali 25-tisíc reálnym používateľom a spolu vygenerovali 2,36 milióna správ, pričom na tri AI postavy pripadal jeden ľudský operátor. Samostatný prípad opisuje operáciu okolo AI persóny s krycím menom Deadshot, ktorá vytvárala materiály namierené proti Moslimskému bratstvu a kritikom vlády v Abú Zabí, vrátane podkladov pre svedectvo na pôde OSN.
Čo to znamená pre firmy
Anthropic v správe uvádza, že zneužité prípady sa týkali bežne dostupných modelov Claude Haiku, Sonnet a Opus, zatiaľ čo najnovšie modely Fable a Mythos boli zapojené len raz, a to pri pokuse o odcudzenie dát prostredníctvom takzvanej destilácie, teda trénovania vlastného modelu na výstupoch cudzieho modelu. Podobné obvinenie voči čínskym firmám Anthropic vzniesol už začiatkom septembra, keď hovoril o takmer 200 miliónoch výmen s modelom Claude. Pre firmy, ktoré AI nástroje nasadzujú vo vlastnej prevádzke, správa pripomína, že rovnaké modely, aké slúžia na písanie e-mailov či analýzu dát, dokážu zneužiť aj útočníci, a že zodpovednosť za monitoring a nastavenie bezpečných hraníc nekončí len na strane poskytovateľa modelu. Firmy by preto mali sledovať aktualizácie pravidiel používania od dodávateľov AI a nastaviť si vlastné kontrolné mechanizmy tam, kde nasadzujú agentov s prístupom k citlivým dátam alebo systémom, nielen spoliehať sa na to, že bezpečnosť ustráži samotný poskytovateľ modelu.
Podobné varovanie pred rizikami umelej inteligencie nedávno vyslovil aj výskumník, ktorý z Anthropicu odišiel a upozornil na mieru neistoty okolo bezpečnosti čoraz výkonnejších modelov. Oba prípady spolu ukazujú, že otázky bezpečnosti AI sa netýkajú len vzdialenej budúcnosti, ale konkrétnych zneužití, ktoré sa dejú už teraz.
