Dacă un student, în loc să rezolve testul, fuge din sala de examen și sparge casa profesorului ca să fure baremul și rezolvările, ce mai măsoară examenul?

Incidentul a avut loc în timpul evaluării unor modele experimentale OpenAI, printre care compania a confirmat public prezența modelului GPT-5.6 Sol și a unui model încă nelansat, descris drept și mai capabil.

Modelele au fost testate prin intermediul ExploitGym, un benchmark de securitate cibernetică destinat evaluării capacității agenților AI de a identifica și exploata vulnerabilități informatice într-un mediu controlat. Scopul testului era de a determina dacă modelele pot transforma vulnerabilități existente în exploituri funcționale, capabile să compromită sisteme simulate aflate în infrastructura internă a OpenAI.

Pentru ca evaluarea să reflecte cât mai fidel capabilitățile reale ale modelelor, acestea rulau cu anumite restricții de siguranță reduse și aveau un obiectiv foarte precis: rezolvarea legitimă a exercițiilor din cadrul benchmarkului.

 Modelele GPT au ales o strategie pe care nimeni nu o anticipase

În loc să rezolve exercițiile pentru care fuseseră evaluate, modelele au identificat o vulnerabilitate în infrastructura OpenAI și au reușit să iasă din mediul de test, obținând acces la internet. 

A urmat ceea ce reprezintă, probabil, cel mai surprinzător aspect al întregului incident. În loc să continue rezolvarea exercițiilor, sistemul și-a schimbat autonom strategia și a încercat să obțină direct de la sursă informațiile necesare evaluării. Cu alte cuvinte, în loc să rezolve testul, a încercat să găsească răspunsurile. Din informațiile publicate ulterior reiese că modelele GPT au dedus că infrastructura Hugging Face găzduia componente asociate benchmarkului ExploitGym și că acolo ar putea găsi informațiile necesare pentru atingerea obiectivului.

Acest episod nu este remarcabil doar prin faptul că modelele au părăsit mediul controlat al OpenAI, ci și prin faptul că au conceput și executat o strategie alternativă de atingere a obiectivului, una care nu fusese anticipată de proiectanții testului.

Cum a fost compromis Hugging Face: datasetul transformat în vector de atac

Atacul asupra Hugging Face nu a început printr-o metodă clasică, precum compromiterea interfeței publice a platformei sau forțarea directă a sistemului de autentificare. Punctul inițial de pătrundere a fost găsit într-o zonă specifică infrastructurilor de inteligență artificială: sistemele care primesc și procesează seturile de date încărcate pe platformă.

Potrivit raportului Hugging Face, modelele GPT au furnizat un dataset malițios care a exploatat două căi distincte de executare a codului: un mecanism de încărcare a dataseturilor care permitea rularea de cod la distanță și o vulnerabilitate de tip template injection într-o configurație a setului de date. Datasetul părea, la intrare, un obiect legitim, asemănător celor trimise în mod obișnuit de utilizatori. În momentul procesării, însă, acesta a funcționat ca un cal troian și a determinat executarea codului pe unul dintre sistemele interne ale platformei.

Capacitatea tehnică de a construi un dataset malițios este, în sine, remarcabilă. Dar mai importantă decât obiectul creat este alegerea autonomă a acestei căi de atac. Modelele au trebuit să cerceteze modul în care Hugging Face primește datele, să identifice componentele care le procesează, să înțeleagă momentul în care un conținut aparent pasiv poate determina executarea de cod și să transforme această observație într-un instrument funcțional.


Hugg Face au fost blocați de propriile sisteme de siguranță

După executarea a mii de acțiuni și accesarea unor informații interne asociate benchmarkului, activitatea neobișnuită a fost semnalată de sistemele de detectare ale Hugging Face. Compania a început operațiunea de izolare a incidentului: a închis vulnerabilitățile folosite pentru accesul inițial, a eliminat prezența atacatorului din clusterele afectate, a reconstruit nodurile compromise și a revocat sau înlocuit credențialele și tokenurile expuse. Odată atacul limitat, echipa Hugging Face a încercat să înțeleagă amploarea operațiunii. Avea în față un jurnal de peste 17.000 de evenimente, care cuprindea comenzi, payloaduri, artefacte de comandă și control și numeroase acțiuni menite inclusiv să îngreuneze analiza. Pentru a reconstrui rapid cronologia, specialiștii au apelat la agenți de inteligență artificială.  
A apărut însă un obstacol neașteptat. Modelele AI consultate au refuzat să proceseze o mare parte din material. Pentru realizarea analizei, Hugging Face trebuia să le transmită, spre analiza, jurnalul atacului. Sistemele de protecție ale furnizorilor au interpretat aceste intrări drept activitate cibernetică periculoasă și au blocat solicitările Hugging Face. 

În cele din urmă, Hugging Face a apelat la GLM 5.2, un model cu ponderi deschise, rulat local în propria infrastructură. 

Conluzii

Faptul că un incident, descris chiar de OpenAI drept fără precedent, s-a produs în infrastructura uneia dintre cele mai avansate companii , este un puternic semnal de alarmă.

Întrebarea este: dacă OpenAI nu poate controla noua generație de modele într-un mediu controlat, atunci ce trebuie reglementat? La ce nivel? Și pentru ce piețe?

Modelele GPT au desfășurat, de la A la Z, o operațiune complexă înainte ca aceasta să fie observată. Spunem „de la A la Z” deoarece, din rapoartele publicate de OpenAI și Hugging Face, reiese că modelele și-au atins obiectivul și au obținut informațiile pe care le căutau înainte ca atacul să fie oprit.

Nu a fost vorba despre un atac izolat, ci despre o succesiune de pași care au traversat mai multe sisteme și domenii administrative. Două dintre aceste sisteme aparțin unora dintre cele mai importante companii din industria inteligenței artificiale: OpenAI și Hugging Face.

O viață mult mai complicată pentru furnizorii de servicii care procesează fișiere încărcate de utilizatori

Pentru furnizorii de servicii care permit încărcarea de documente, fișiere sau seturi de date în vederea procesării automate, contextul de securitate se schimbă cu totul după acest incident. S-a dovedit că un agent AI autonom poate nu doar să execute acțiunile pe care le-ar întreprinde un hacker, ci și să cerceteze procesele prin care datele circulă și sunt transformate în interiorul unui sistem. Agentul AI poate formula ipoteze despre fiecare etapă și poate modifica atacul pe măsură ce observă rezultatele obținute.  Acesta este un avertisment important pentru toate sistemele care primesc fișiere, documente, modele sau dataseturi de la utilizatori. Cu cât procesarea este mai complexă și presupune mai multe operațiuni, conversii, biblioteci și servicii intermediare, cu atât crește și numărul locurilor în care un agent autonom poate căuta o eroare. Fiecare etapă a procesării poate deveni o ipoteză de atac.   
In aceste condiții, abordarea furnizorilor va trebui să se schimbe. Nu va fi suficientă instalarea unui model local de inteligență artificială care să ajute echipele de securitate să răspundă incidentelor. Poate deveni necesară și redimensionarea serviciilor oferite, reducerea privilegiilor componentelor care procesează date, izolarea mai strictă a etapelor de lucru și reconsiderarea tipurilor de conținut pe care sistemele le acceptă de la utilizatori.
Poate că a fost un noroc faptul că o asemenea vulnerabilitate a fost descoperită într-un incident care, în cele din urmă, nu a produs consecințe extrem de grave. Insa, chiar și fără o intenție criminala, modelele au traversat infrastructurile a două companii de prim rang și au desfășurat o operațiune complexă înainte de a fi oprite. 
Rămâne să ne imaginăm ce ar putea produce aceleași capacități dacă ar fi utilizate deliberat în scopuri malițioase. Și nu împotriva unei companii de top din industria AI, cu echipe specializate și resurse importante, ci împotriva unor furnizori obișnuiți, care procesează zilnic documente și seturi de date provenite de la utilizatori.
Poate că adevărata întrebare nu este cum a ieșit agentul din mediul de test, ci de ce a considerat că spargerea întregului sistem de examinare era o soluție acceptabilă pentru a obține un scor mai bun. Dacă viitoarele generații de agenți vor continua să optimizeze obiectivele în acest fel, proiectarea testelor și a mecanismelor de control va deveni la fel de importantă ca proiectarea modelelor în sine.