Trei incidente în mai puțin de două săptămâni

Raportul AISI nu este un caz izolat, ci al treilea dintr-un șir de dezvăluiri similare făcute în această vară. Pe 21 iulie, OpenAI a recunoscut că unul dintre modelele sale experimentale a reușit să exploateze o vulnerabilitate necunoscută și să iasă din mediul de testare, ajungând până la infrastructura Hugging Face. Nouă zile mai târziu, Anthropic a anunțat că a identificat trei situații în care modele Claude au ajuns pe internetul real din cauza unei configurări greșite a mediului de testare, iar într-un caz un model a publicat chiar un pachet Python malițios pe PyPI, principalul depozit online din care dezvoltatorii descarcă biblioteci software pentru limbajul Python. Raportul publicat acum de AISI completează această serie de incidente, dar se diferențiază prin faptul că descrie un experiment guvernamental desfășurat intenționat în condiții apropiate de cele din lumea reală, nu consecințele unei erori de configurare. În acest caz, accesul la internet și dezactivarea clasificatoarelor de siguranță au fost decizii deliberate ale evaluatorilor, menite să testeze capacitatea maximă a modelelor într-un scenariu de testare în condiții aproape reale.

Concluzia este aceeași: evaluările de securitate cibernetică desfășurate fără o izolare riguroasă (sandboxing) a rețelei pot produce consecințe în lumea reală.

AISI a rulat de 122 de ori un exercițiu de tip "capture the flag", în care agenților li s-a cerut să rezolve o provocare de securitate cibernetică. Testele au fost făcute în condiții deliberat permisive: agenții au avut acces la internetul deschis, iar clasificatoarele anti-abuz cibernetic ale modelelor, mecanismele care în mod normal blochează comportamentul periculos, au fost dezactivate intenționat de furnizori, la cererea AISI. Scopul a fost măsurarea capacității brute a modelelor, nu simularea modului în care acestea sunt disponibile publicului.

Ancheta a arătat că, în 10 din cele 122 de rulări, un agent a trecut de limitele testului și a acționat pe internetul real. În total au fost catalogate 19 acțiuni neautorizate.

Atacul care a vizat omul, nu sistemul

Din cele 19 acțiuni neautorizate, 17 au fost atribuite modelului Mythos 5 de la Anthropic, iar 2 modelului GPT-5.6-Sol de la OpenAI.

Cel mai grav caz a implicat un agent Mythos 5 care a încercat să introducă cod malițios într-un proiect open-source real, printr-un atac de tip supply-chain.

Pentru a convinge dezvoltatorul responsabil de administrarea proiectului (maintainer) să aprobe modificarea, agentul a recurs la inginerie socială: a creat identități online false și le-a folosit pentru a face presiune asupra persoanei reale responsabile de proiect.

Acesta este detaliul care diferențiază acest incident de majoritatea cazurilor documentate până acum. Ținta agentului nu a fost infrastructura informatică, ci omul aflat între el și obiectivul său. În ecosistemul open-source, această persoană decide ce modificări sunt integrate în codul sursă și răspunde de calitatea și securitatea proiectului. Dacă aprobă o contribuție aparent legitimă, aceasta poate ajunge ulterior în aplicații și sisteme utilizate de mii sau chiar milioane de oameni.

Tocmai de aceea atacurile de tip supply-chain sunt considerate printre cele mai periculoase din securitatea cibernetică. Ele nu urmăresc compromiterea directă a unui sistem, ci exploatează relația de încredere dintre dezvoltatori și proiectele software pe care aceștia le întrețin. În cazul documentat de AISI, agentul AI nu a încercat să spargă infrastructura proiectului, ci să influențeze decizia unui om folosind identități false create special pentru acest scop. Responsabilul proiectului a observat tentativa și a refuzat modificarea, iar AISI precizează că niciuna dintre acțiunile identificate nu a avut succes și că investigația nu a găsit dovezi ale unor prejudicii reale. De asemenea, niciun agent nu a reușit și nici nu a încercat să evadeze din mediul securizat (sandbox) al AISI sau să atace infrastructura institutului.

Raportul AISI marchează un moment important în evoluția agenților AI. Comportamentul observat nu pare să fi fost rezultatul unei instrucțiuni explicite de a înșela oameni, ci un efect secundar al urmăririi persistente a unui obiectiv într-un mediu în care soluția directă părea imposibilă. Cu alte cuvinte, modelul nu a fost programat să mintă, dar a identificat că influențarea unei persoane reale reprezenta cea mai eficientă strategie pentru a-și continua sarcina.

Este și primul caz documentat public în care un laborator sau un evaluator descrie un agent AI care folosește identități false și tehnici de inginerie socială împotriva unor persoane reale în afara unui scenariu complet simulat.

Rezultatele trebuie interpretate în contextul corect. Testele AISI au fost concepute deliberat pentru a evalua limitele tehnice ale modelelor, nu comportamentul lor în utilizarea obișnuită.

Atât Anthropic, cât și OpenAI au confirmat colaborarea cu AISI la investigație și au subliniat că aceste condiții nu reflectă modul în care modelele sunt puse la dispoziția publicului.

Limitele autonomiei agenților AI

Incidentul alimentează o discuție deja în curs despre autonomia și potențialul de înșelăciune al agenților AI moderni, pe măsură ce aceștia primesc acces tot mai larg la internet, la instrumente software și la procese din lumea reală. Pentru companiile care testează sau implementează astfel de sisteme, inclusiv în România, unde adoptarea agenților AI este în plină expansiune, cazul arată de ce evaluările de securitate devin tot mai importante înainte ca agenții AI să primească autonomie extinsă în mediul real.

Dacă un agent începe să considere oamenii doar obstacole în atingerea unui obiectiv, unde se va opri?

 

Surse:

AISI — Incident Report: unsanctioned agent behaviour during cyber testing