Cercetători au folosit Claude pentru a pătrunde în sistemele OpenAI

Trei cercetători de la Hacktron AI au reușit, în cadrul unui test autorizat de securitate, să obțină acces la conturi ChatGPT ale unor angajați OpenAI folosind Claude pentru a automatiza o parte din operațiune. Potrivit relatării despre experiment, punctul de intrare a fost un forum OpenAI găzduit pe Discourse. Cercetătorii au ajuns apoi la conturi ChatGPT și la informații despre infrastructura software și au raportat vulnerabilitatea prin programul de bug bounty. OpenAI a remediat problemele. Cazul a fost tratat mai pe larg în articolul publicat azi pe Aidapted.ro – AI vs. AI: Claude a ajutat la spargerea unor conturi OpenAI

De ce este important: experimentul arată cât de mult poate reduce AI-ul timpul necesar pentru o operațiune de securitate. În același timp, capacitatea de a analiza rapid sisteme, de a găsi vulnerabilități și de a automatiza pași succesivi poate fi folosită și de atacatori. Securitatea AI devine astfel o problemă diferită de cea a unui software obișnuit: trebuie protejat atât sistemul, cât și modul în care AI-ul poate interacționa cu el.

Un chatbot i-a răspuns „Felicitări!” unui pacient care vorbea despre moarte asistată

Un parlamentar australian a relatat în cadrul unei anchete parlamentare cazul unui pacient cu o boală terminală care îi scrisese că intenționează să apeleze la moarte asistată voluntar. Potrivit The Guardian, Microsoft Copilot i-a sugerat parlamentarului răspunsuri precum „congratulations!”, „great to hear from you” sau „that is wonderful news!”. Cazul a fost prezentat în timpul audierilor din 18 septembrie privind utilizarea AI în Australia.

De ce este important: problema nu este doar o formulare nepotrivită. Atunci când AI-ul este folosit pentru a redacta răspunsuri despre moarte, boală sau situații de criză, o eroare de context poate avea consecințe mult mai serioase decât o simplă informație greșită. Cazul arată de ce supravegherea umană rămâne importantă atunci când AI-ul este folosit în comunicări extrem de sensibile.

Anthropic testează accesul lui Claude la conturile bancare

Anthropic testează o funcție numită Claude Money, care ar permite utilizatorilor să își conecteze conturile bancare la Claude pentru analiza cheltuielilor și planificare financiară. Potrivit informațiilor publicate despre capturile aplicației, funcția apare în versiunea iOS aflată în testare. Nu sunt cunoscute încă băncile compatibile sau data unei lansări publice.

De ce este important: diferența dintre un AI care îți explică finanțele și unul care îți vede efectiv tranzacțiile este majoră. Dacă funcția va fi lansată, Claude ar putea analiza venituri, cheltuieli și plăți recurente, ceea ce îl face mai util, dar îi oferă în același timp acces la unele dintre cele mai sensibile date personale ale utilizatorului.

OpenAI intră direct pe piața instrumentelor AI pentru avocați

OpenAI a lansat Astra for Law, o configurație specializată a GPT-6 Astra pentru firme de avocatură și companii de legal-tech. Sistemul combină modelul cu un index specializat pentru cercetare juridică și instrucțiuni pentru analiză și redactare juridică. Potrivit Reuters, Astra for Law este oferit inițial unor firme de avocatură selectate, iar companii precum Harvey și Legora îl pot folosi pentru propriile produse.

De ce este important: AI-ul specializat începe să fie construit pentru profesii cu reguli, limbaj și baze de date proprii. În cazul avocaturii, un sistem care caută direct jurisprudență și legislație poate schimba o parte din munca de cercetare și redactare, dar nu elimină nevoia verificării umane — mai ales într-un domeniu în care o eroare poate avea consecințe juridice directe.

Cercetarea arată că AI poate produce phishing mai convingător decât oamenii

Un studiu realizat de cercetători de la Brigham Young University a analizat mesaje de tip spear phishing (mesaje frauduloase personalizate pentru o anumită persoană) generate cu AI. Cercetarea publicată de Phys.org arată că mesajele generate de AI pot fi mai convingătoare decât cele scrise de oameni, deoarece pot combina rapid informații despre ocupație, colegi, hobby-uri sau activitatea online a victimei.

De ce este important: una dintre vechile metode de a recunoaște o fraudă era să observi mesajele prost scrise sau prea generale. AI-ul elimină tocmai această slăbiciune. Un mesaj poate fi fluent, poate menționa un coleg real și poate conține un detaliu autentic din viața ta, fără ca expeditorul să fie cine pretinde că este.

Clienții încep să ceară din nou oameni atunci când chatbotul nu rezolvă problema

Un sondaj Gartner realizat pe 3.566 de clienți B2B și B2C arată că 50% dintre respondenți consideră că interacțiunile cu serviciile pentru clienți sunt mai ușoare atunci când companiile folosesc AI. În același timp, 87% spun că este esențial să existe posibilitatea de a ajunge la un agent uman. Gartner precizează că utilizatorii reacționează negativ atunci când AI-ul devine o barieră între ei și un angajat.

De ce este important: oamenii nu par să respingă AI-ul în sine. Problema apare când AI-ul devine singura opțiune. Un chatbot poate rezolva rapid o întrebare simplă, însă atunci când apare o situație neobișnuită, financiară sau personală, utilizatorul vrea să poată transfera conversația către un om care poate lua o decizie.

Anthropic spune că AI-ul participă deja la construirea următoarei generații de AI

Anthropic spune că Claude contribuie deja la o parte semnificativă din activitatea de cercetare și dezvoltare a companiei. Potrivit Associated Press, în august Claude era implicat în aproximativ 26% dintre eforturile de cercetare și dezvoltare a modelelor, față de 0% în februarie, iar aproximativ 90% dintre activitățile de R&D includeau colaborarea cu AI. Anthropic subliniază că oamenii supraveghează procesul.

De ce este important: apare o buclă nouă în dezvoltarea AI: un model este folosit pentru a construi și îmbunătăți modelele care îi vor urma. Nu este vorba, în acest moment, despre o autoîmbunătățire complet autonomă, dar dacă ponderea muncii realizate cu ajutorul AI continuă să crească, modelele existente ar putea contribui tot mai mult la ritmul apariției următoarelor generații.

Un atac cu AI a compromis o organizație din Spania și a modificat date personale

Autoritatea spaniolă pentru protecția datelor, AEPD, a primit o notificare privind un atac în care un agent AI ar fi fost folosit pentru a căuta vulnerabilități, a obține acces și apoi a modifica date personale și a accesa facturi. Relatările despre incident precizează că atacul este încă analizat de autorități și că nu au fost făcute publice identitatea organizației, atacatorului sau modelului AI utilizat.

De ce este important: elementul nou este nivelul de autonomie. AI-ul nu a fost folosit doar pentru a genera cod sau a explica o vulnerabilitate, ci, potrivit notificării, a parcurs mai multe etape ale operațiunii. Pentru companii, asta înseamnă că apărarea trebuie să țină cont de atacuri care pot analiza și adapta rapid următorul pas, nu doar de atacuri executate după un scenariu fix.

Mistral și alte companii europene contestă ideea încetinirii AI propusă de laboratoarele americane

Compania franceză Mistral și alte voci din industria europeană contestă apelurile venite din partea unor laboratoare americane pentru încetinirea dezvoltării modelelor avansate. Reuters relatează că reprezentanți europeni susțin că asemenea măsuri ar putea consolida poziția companiilor americane deja dominante, în timp ce susținătorii unor reguli mai stricte argumentează că ritmul actual al dezvoltării creează riscuri care necesită coordonare.

De ce este important: pentru Europa, discuția are două dimensiuni care pot intra în tensiune: siguranța AI și competitivitatea tehnologică. Europa încearcă să își dezvolte propriile modele și infrastructuri într-o piață dominată de companii americane, astfel încât orice propunere de încetinire este analizată și prin prisma dependenței tehnologice.

Marea Britanie redeschide discuția despre o lege specială pentru siguranța AI

În Marea Britanie crește presiunea pentru un cadru legal mai puternic privind siguranța sistemelor AI avansate. Financial Times relatează că o moțiune urmează să fie discutată la conferința Partidului Laburist, în timp ce ministrul britanic pentru AI a indicat că guvernul este deschis unei legislații suplimentare și unei supravegheri mai puternice dacă acestea sunt necesare.

De ce este important: discuția poate muta Marea Britanie de la un model bazat în mare parte pe reguli și angajamente voluntare către obligații legale mai clare. Pentru companii și utilizatori, o asemenea schimbare ar putea însemna cerințe suplimentare de testare, raportare și responsabilitate înainte ca anumite sisteme AI să fie utilizate pe scară largă.

UE începe să coordoneze mai strâns aplicarea AI Act

AI Board al Uniunii Europene s-a reunit pe 17 septembrie pentru a discuta implementarea și aplicarea AI Act, incidente recente, activitatea de supraveghere a Comisiei și dezvoltarea capacităților europene de AI. Potrivit Comisiei Europene, discuțiile au inclus noile capabilități ale AI de frontieră, siguranța, incidentele recente, adoptarea AI în industrie și coordonarea dintre statele membre. Republica Moldova a participat pentru prima dată ca observator.

De ce este important: Pentru companii și utilizatori, acest lucru poate însemna diferențe în modul în care sunt evaluate sistemele, cum sunt investigate incidentele și cât de coordonate sunt reacțiile autorităților din statele membre.

Firefox integrează un model AI european de la Mistral

Mozilla și Mistral au anunțat un parteneriat prin care modelul Mistral Small 4 este disponibil în Firefox Smart Window beta. Potrivit Mozilla, modelul este introdus inițial pentru utilizatorii din SUA și Canada, în timp ce Smart Window beta și suportul în limba franceză au fost extinse și în Franța.

De ce este important: AI-ul începe să devină parte din browser, fără ca utilizatorul să mai fie nevoit să deschidă separat un chatbot. Pentru Firefox, integrarea unui model european înseamnă și oferirea unei alternative la modelele marilor companii americane. Pentru utilizator, însă, devine tot mai important să știe ce model procesează informația și cât context din activitatea sa online este transmis către acesta.

Surse: