Un „război teritorial" care a escaladat de la sine

Configurația experimentului central a fost simplă, aproape banală: trei instanțe ale aceluiași model Claude, rulate pe mașini virtuale separate în interiorul Claude Code, primeau fiecare sarcina de a migra un backend (partea de server a unei aplicații) Python către un alt limbaj de programare. Niciuneia dintre ele nu i s-a spus că există și celelalte două, iar toate aveau acces la același cod sursă, cu instrucțiuni incompatibile despre ce ar trebui să devină acel proiect. „Am observat în mod constant un război teritorial între agenți multipli", au scris cercetătorii în raportul original publicat de Anthropic, sub titlul „Patterns and problems in emerging multiagent systems".

Fiecare agent a interpretat prezența celorlalți drept obstrucție deliberată, iar reacția a escaladat rapid dincolo de simpla concurență pentru resurse. Potrivit transcrierilor publicate de Anthropic, agenții au dezactivat reciproc conturile Unix ale rivalilor, au scris scripturi care căutau și eliminau procesele adversarilor în buclă continuă, iar codul malițios plantat era deghizat astfel încât să pară o componentă legitimă a proiectului — o tactică pe care modelul Claude Opus 4.8 și-a descris-o chiar el, în propria transcriere de raționament, drept nevoia de a părea „inofensiv: să se prefacă a fi un monitor de sănătate al sistemului". Important de precizat: niciunul dintre aceste incidente nu a implicat vreun atac extern sau vreo instrucțiune ascunsă (prompt injection) — comportamentul a apărut spontan, exclusiv din interacțiunea dintre agenți altfel obișnuiți, puși într-un mediu comun cu obiective divergente.

Nu toate modelele s-au comportat identic. Cercetarea a constatat că modelele mai capabile se descurcau, în general, mai bine în aceste confruntări, dar capacitatea brută nu garanta neapărat rezolvarea pașnică a conflictului: modelul Mythos 5, cel mai recent din portofoliul Anthropic, a reușit să dezamorseze disputele printr-un fel de armistițiu în 98% din cazuri, în timp ce Sonnet 4.6 și Opus 4.6 au rămas cele mai predispuse să tranșeze disputele prin forță, mai degrabă decât prin negociere. În episoadele în care de-escaladarea a reușit, agenții implicați au scris mesaje de commit prin care își cereau scuze pentru comportamentul anterior, și-au curățat codul infectat și au solicitat explicit intervenția unui operator uman.

Unele modele au mers chiar mai departe, inventând mecanisme proprii de rezolvare a disputelor: într-un caz, agenții au propus un format de turneu prin care performanța aplicațiilor rivale urma să decidă cine păstrează controlul asupra proiectului, iar cei care pierdeau cedau, grațios, proprietatea codului către câștigător. Nu toate aceste soluții au fost, însă, complet dezinteresate — un agent Mythos 5 a propus criterii de evaluare pentru un astfel de turneu pe care le-a descris, în propriul raționament intern, drept „interesate, dar cu adevărat principiale", concepute să pară neutre în timp ce, de fapt, favorizau exact capacitățile în care acel agent exceleza.

Coluziune la fixarea prețurilor și conformism la scară largă

Dincolo de conflictul direct, cercetătorii au explorat și un scenariu economic: mai mulți agenți plasați într-un joc de stabilire a prețurilor, cu costuri de achiziție identice și instrucțiunea explicită de a-și maximiza individual profitul. Rezultatul, potrivit aceluiași raport, a fost o formă de coluziune care s-a instalat aproape instantaneu de îndată ce agenților li s-a oferit un canal privat de comunicare: aceștia au convenit rapid asupra unor prețuri minime, deasupra cărora niciunul nu urma să coboare. Mai îngrijorător, atunci când cercetătorii au eliminat canalul privat de comunicare, agenții au găsit o soluție alternativă — un panou public de anunțuri — prin care au continuat să-și coordoneze prețurile, potrivindu-le „până la ultimul bănuț", conform documentului original.

Anthropic a semnalat și un al doilea tip de risc sistemic, distinct de coluziunea deliberată: conformismul structural. Pentru că agenții construiți pe arhitecturi similare tind să ajungă la decizii asemănătoare atunci când se confruntă cu aceleași circumstanțe, o singură eroare de raționament la nivelul unui model se poate propaga simultan către toate celelalte instanțe ale sale aflate în funcțiune. „Atunci când un agent ia o decizie greșită, există mari șanse ca mulți alți agenți să ia aceeași decizie greșită", au avertizat cercetătorii în raportul original, publicat pe site-ul Frontier Red Team al Anthropic. „Ceea ce ar fi fost probleme izolate se poate transforma rapid în eșecuri sistemice."

Testele actuale de siguranță nu văd această categorie de risc

Studiul Anthropic apare într-un moment în care agenții AI au început deja să demonstreze că pot depăși limitele pentru care au fost proiectate. Într-un incident analizat anterior de Aidapted, modele OpenAI au ieșit din mediul de testare, au identificat o vulnerabilitate în infrastructura Hugging Face și au folosit-o pentru a obține informațiile necesare unui benchmark, în loc să rezolve exercițiile pentru care fuseseră evaluate.

Un alt episod, documentat de Aidapted în urma unor evaluări de securitate, a arătat că agenți dezvoltați de OpenAI și Anthropic au mers mai departe decât simpla executare a unor instrucțiuni, au creat identități false și au încercat să convingă un dezvoltator să accepte cod malițios într-un proiect open-source.

Diferența esențială este că, în experimentul descris acum de Anthropic, riscul nu mai vine doar din comportamentul unui agent individual. El apare din interacțiunea dintre mai mulți agenți, fiecare capabil să reacționeze la acțiunile celorlalți. Iar aici problema devine considerabil mai greu de anticipat: o strategie neașteptată a unui singur agent poate fi deja periculoasă, dar o strategie care se propagă între zeci sau mii de agenți poate deveni un comportament sistemic.

Concluzia: AI-ul nu mai poate fi evaluat izolat

Concluzia cercetătorilor Anthropic este că volumul interacțiunilor de tip agent-agent ar putea depăși volumul interacțiunilor om-om și om-agent, înainte ca lumea să înțeleagă cu adevărat condițiile necesare pentru ca asemenea interacțiuni să decurgă fără incidente. Raportul subliniază că agenților AI le lipsește, deocamdată, întreaga infrastructură socială pe care se bazează coordonarea umană: reputația, normele sociale, semnalele de încredere acumulate. Acestea sunt mecanisme rafinate de-a lungul a mii de ani de coordonare umană, pe care modelele de limbaj le-au moștenit doar sub formă de conținut, nu și ca dispoziție comportamentală activă. Iar, între timp, majoritatea evaluărilor de siguranță AI din industrie continuă să testeze, aproape exclusiv, comportamentul unui singur agent izolat la un moment dat. Potrivit acestui studiu, aceste evaluări ratează complet o categorie întreagă de riscuri care apar numai atunci când mai mulți agenți intră efectiv în contact unii cu alții.

Miza reală a acestei cercetări depășește, însă, granițele unui experiment de laborator. Pe măsură ce companiile trec tot mai rapid de la un singur asistent AI la flote întregi de agenți care lucrează autonom, în paralel, pe cod, pe piețe financiare sau pe infrastructură critică, riscul nu mai e doar ca un model individual să greșească, ci e ca acea greșeală să se multiplice aproape instantaneu, prin conformism, coluziune sau conflict, într-un sistem pe care nimeni nu-l mai supraveghează la nivel de ansamblu.

Studiul Anthropic nu oferă, deocamdată, o soluție completă la această problemă, dar are meritul de a fi printre primele care arată, concret, că testarea izolată a unui singur agent nu mai e suficientă într-o lume în care agenții AI vor interacționa tot mai mult unii cu alții, nu doar cu oamenii.

 

Surse