Dario Amodei, CEO-ul Anthropic, nu cere oprirea dezvoltării inteligenței artificiale. Spune însă că industria a ajuns într-un punct în care capabilitățile modelelor avansează mai repede decât capacitatea companiilor și a instituțiilor de a le înțelege și controla. „What we need to do is not stop. We need to slow down”, spune el în interviul acordat CBS. 10:03 — vezi momentul în interviu

Apelul la încetinire nu este un concept nou, Amodei îl explicase deja pe larg într-un eseu publicat înaintea interviului. În conversația cu CBS merge însă mai departe și vorbește despre cine ar trebui să controleze această tehnologie, câtă putere ar trebui să rămână în mâinile companiilor care o dezvoltă și ce se întâmplă dacă modelele devin suficient de capabile încât mecanismele obișnuite de siguranță să nu mai fie suficiente. (darioamodei.com)

 Dario Amodei nu crede că o tehnologie atât de puternică ar trebui controlată exclusiv de companii private

Întrebat cine ar trebui, în ultimă instanță, să controleze inteligența artificială, Amodei spune că i s-a părut întotdeauna „foarte ciudat” ca o tehnologie cu asemenea consecințe să fie construită de companii private și recunoaște direct că situația îl face să se simtă inconfortabil. Când jurnalista îl întreabă dacă ar fi dispus să cedeze controlul guvernului, răspunde: „to the right combination of governments”.

Nu vorbește despre predarea Anthropic unui singur stat. Din contră, observă că și un guvern poate abuza de o tehnologie atât de puternică. Ce descrie este o formă de supraveghere sau „joint governance” la care să participe mai multe guverne democratice. Asta mută discuția dincolo de ideea obișnuită de reglementare: chiar unul dintre oamenii care controlează astăzi dezvoltarea frontier AI spune că nu se simte confortabil cu un sistem în care câteva companii private iau singure deciziile esențiale. (cbsnews.com)

Rămâne însă neclar cât control ar fi Anthropic dispusă, în practică, să cedeze. „Joint governance” poate însemna de la inspectori independenți și reguli obligatorii până la dreptul unor autorități de a bloca lansarea unui model. Amodei nu spune unde ar trebui trasată această linie.

 Amodei acuză industria AI că a mințit publicul despre riscurile tehnologiei

Spre final, Amodei formulează una dintre cele mai dure acuzații din interviu: „For too long, the industry lied to people about the fact that this technology had risk.” Spune că prea multe companii au încercat să prezinte inteligența artificială într-o lumină cât mai pozitivă, în loc să vorbească deschis despre pericole. 22:23 — vezi declarația

Afirmația îi vizează direct pe ceilalți mari dezvoltatori AI, dar istoricul public o complică. OpenAI, Google DeepMind și Anthropic avertizau deja în 2023 că sistemele avansate ar putea crea riscuri comparabile cu pandemiile sau războiul nuclear. OpenAI și DeepMind au publicat ulterior și cadre proprii pentru evaluarea riscurilor catastrofale. (safe.ai)

Problema pare, așadar, mai degrabă una de diferență între mesajul de safety și mesajul comercial. Aceleași companii care au publicat documente despre riscuri extreme și-au prezentat în paralel modelele drept produse gata să fie integrate rapid în economie.

Amodei nu spune însă pe cine acuză concret că a mințit și nici ce declarații are în vedere. Fără aceste precizări, acuzația rămâne puternică, dar foarte largă — și, convenabil, Anthropic este exclusă chiar de el din categoria companiilor care ar fi procedat astfel.

 Anthropic vrea inspectori externi care să vadă AI-ul înainte ca acesta să devină produs

Una dintre propunerile concrete ale lui Amodei este introducerea unor evaluatori independenți care să nu primească modelul doar la final, pentru un audit formal. El îi compară cu inspectorii sanitari: dacă miza este suficient de mare, compania nu ar trebui să fie singura care decide dacă propriul produs este sigur.

Anthropic propune ca acești evaluatori să aibă acces continuu, apropiat de cel al angajaților, la procesul prin care sunt construite și testate modelele. Ar putea verifica respectarea angajamentelor de siguranță, investiga incidente și analiza inclusiv training pipeline-ul, nu doar modelul după încheierea antrenării. (darioamodei.com)

De aici rezultă și o idee mai puțin obișnuită: dacă evaluatorii externi nu mai pot înțelege suficient de repede sistemele pe care le inspectează, atunci ritmul evaluării ar putea deveni limita ritmului de dezvoltare. Cu alte cuvinte, progresul capabilităților nu ar trebui să depășească prea mult capacitatea unor terți de a verifica riscurile.

Asta ar schimba rolul safety-ului. În loc să fie o verificare făcută după ce cercetarea a produs deja următorul model, ar deveni o constrângere asupra vitezei cu care cercetarea poate avansa.

Totul depinde însă de independența evaluatorilor. Cine îi alege, cine îi plătește, la ce informații au acces și ce pot publica? Un inspector care are badge și laptop în sediul Anthropic poate părea mult mai puternic decât un auditor extern, dar influența reală depinde de drepturile pe care le primește.

 Amodei vrea aplicarea principiilor din controlul armamentului nuclear pentru relația SUA–China

China complică orice plan de încetinire unilaterală. Dacă laboratoarele americane reduc ritmul, iar cele chineze continuă să accelereze, avantajul strategic s-ar putea muta. Amodei recunoaște problema și propune două niveluri de cooperare.

Primul este relativ limitat: Statele Unite și China ar putea conveni să nu folosească AI pentru dezvoltarea armelor biologice și să nu lanseze sisteme care ar permite unor bioteroriști să facă același lucru. În esență, Amodei propune extinderea logicii Biological Weapons Convention asupra unor utilizări ale AI. (cbsnews.com)

A doua variantă este mult mai ambițioasă: un fel de „speed limit” asupra progresului AI, acceptat de marile puteri. Amodei nu pretinde că un asemenea acord ar fi ușor de obținut. Dimpotrivă, spune că problema centrală ar fi verificarea. Dacă una dintre părți ar putea accelera în secret, avantajul strategic obținut ar fi prea mare pentru ca simpla încredere reciprocă să fie suficientă.

În acel punct, discuția seamănă mai puțin cu reglementarea unei industrii software și mai mult cu tratatele de control al armamentului din timpul Războiului Rece. Numai că AI este mai greu de inspectat decât un arsenal nuclear. Cipurile, centrele de date, algoritmii și folosirea AI pentru cercetarea următoarei generații de AI nu pot fi numărate la fel de simplu ca focoasele.

Amodei admite că nu știe dacă un asemenea mecanism poate funcționa. Important este că tratează deja ritmul progresului AI ca pe ceva care, în anumite condiții, ar putea ajunge obiect de negociere strategică între state.

Un „kill switch” nu este suficient dacă AI-ul devine capabil să evite oprirea

Amodei nu respinge ideea unui mecanism prin care un model periculos să poată fi oprit. O astfel de posibilitate poate fi utilă, spune el, dar nu este suficientă. Un sistem foarte capabil ar putea încerca să evite mecanismul prin care urmează să fie dezactivat, iar cercetătorii au observat deja comportamente de acest tip în scenarii simulate. (infoq.cn)

De aceea preferă o apărare în mai multe straturi. Folosește modelul feliilor de brânză elvețiană: fiecare măsură are propriile găuri, dar mai multe bariere independente pot reduce probabilitatea ca toate să cedeze în același timp.

Experimentele existente nu arată că modelele actuale pot rezista unei opriri reale și nici că urmăresc constant să se mențină active. Ele arată însă că, în anumite simulări, pot apărea comportamente prin care sistemul încearcă să-și păstreze autonomia sau continuitatea.

Anthropic proiectează, așadar, mecanisme de siguranță pentru o situație în care nu mai poate presupune pur și simplu că modelul va coopera cu procedura concepută pentru a-l controla. Faptul că o companie frontier lucrează deja cu această ipoteză spune destul de mult despre tipul de sisteme pentru care încearcă să se pregătească.

 Amodei sugerează că Anthropic se apropie de rezultate științifice în biologie, nu doar de un AI care asistă cercetătorii

Printre avertismentele despre risc, Amodei strecoară și o informație despre ceea ce pregătește Anthropic. Compania folosește deja modelele sale în zona protein binding, relevantă pentru etapele timpurii ale dezvoltării medicamentelor, iar CEO-ul spune că în lunile următoare va avea lucruri de prezentat despre utilizarea Claude pentru „basic scientific discoveries in biology”. (aipodcast.jasonlin.tech)

Diferența este importantă. Un model poate ajuta un cercetător să caute literatura, să scrie cod sau să propună ipoteze fără să contribuie efectiv la o descoperire științifică nouă. Afirmația lui Amodei sugerează ceva mai mult. Anthropic a prezentat deja rezultate legate de proiectarea proteinelor, dar ceea ce anunță aici pare să meargă spre cercetare biologică în care Claude ar avea un rol mai direct.

Dacă aceste rezultate vor fi confirmate experimental și vor arăta că modelul a contribuit într-un mod esențial la o descoperire care altfel ar fi fost mai dificil sau mai lent de obținut, ar fi un exemplu concret al promisiunii repetate de industria AI de ani întregi: nu doar automatizarea muncii existente, ci accelerarea producerii de cunoaștere nouă.

Aici se vede și de ce Amodei refuză ideea opririi totale. Tatăl său a murit de hepatită C înainte ca tratamentele mult mai eficiente să devină disponibile, iar el însuși a supraviețuit unui cancer depistat într-un stadiu timpuriu. Pentru el, beneficiile medicale ale progresului tehnologic nu sunt o abstracție.

În același timp, exact aceleași capacități care pot accelera biologia și dezvoltarea medicamentelor pot avea utilizări periculoase. Când explică de ce Anthropic menține restricții care îi frustrează uneori inclusiv pe studenții la biologie, Amodei spune că preferă să fie ridiculizat pentru filtre prea stricte decât să afle într-o zi că cineva a folosit Claude pentru a ucide oameni. 20:26 — vezi momentul în interviu

Aceeași tensiune traversează tot interviul. Amodei cere încetinirea dezvoltării, dar nu oprirea ei. Vrea mai mult control public, dar nu vrea ca un singur guvern să controleze tehnologia. Crede că AI poate accelera descoperirile medicale, dar construiește bariere pentru că aceleași capacități pot fi folosite în sens opus.

Rezultatul nu este un plan simplu, ci o constatare: dacă sistemele continuă să devină mai puternice, nici companiile, nici guvernele și nici soluțiile tehnice nu vor fi suficiente luate separat.

La final, Amodei spune și cine nu ar trebui să ia singur aceste decizii: oamenii care conduc astăzi laboratoarele AI. Modul în care tehnologia va fi dezvoltată și folosită, spune el, nu ar trebui stabilit de „câțiva oameni”. Publicul și reprezentanții săi trebuie să aibă un rol în această decizie. 23:27 — vezi finalul interviului