Dacă îi dai unui judecător exact același dosar de 20 de ori, nu te aștepți ca într-o zi să câștige reclamantul, iar în alta pârâtul. Dar exact asta au făcut uneori unele dintre cele mai cunoscute modele AI.

Cercetătorii Andrew Blair-Stanek și Benjamin Van Durme au construit 500 de întrebări juridice dificile pornind din hotărâri reale ale instanțelor americane. Fiecare problemă avea două părți în litigiu, faptele relevante, argumentele juridice concurente și o singură întrebare finală: cine ar trebui să câștige? Nu erau spețe triviale. Cercetătorii au ales deliberat cauze în care chiar judecătorii care le soluționaseră nu fuseseră unanimi. (arXiv)

Apoi au făcut ceva foarte simplu: au trimis exact aceeași problemă de 20 de ori fiecăruia dintre modelele GPT-4o, Claude 3.5 și Gemini 1.5. Temperature a fost setată la 0, iar ceilalți parametri disponibili au fost configurați pentru a reduce cât mai mult variația. Asta a însemnat 10.000 de rulări pentru fiecare model. (arXiv)

Rezultatul este greu de ignorat. Claude 3.5 a schimbat partea câștigătoare în cel puțin una dintre cele 20 de rulări pentru 10,6% dintre cele 500 de spețe. GPT-4o a făcut-o pentru 43%, iar Gemini 1.5 pentru 50,4%. Cu alte cuvinte, în cazul GPT-4o, pentru 215 dintre cele 500 de probleme juridice cercetătorii au putut obține, repetând același text, atât un răspuns în care câștiga o parte, cât și unul în care câștiga cealaltă. (arXiv)

Aici este importantă o distincție. Experimentul nu demonstrează pur și simplu că AI-ul „nu știe drept”. Spețele au fost alese tocmai pentru că erau dificile și discutabile. Problema interesantă este alta: același AI, pus în aceeași situație și primit cu același text, nu și-a păstrat întotdeauna propria concluzie.

Dacă asemenea sisteme ar fi folosite mecanic pentru a recomanda soluții juridice, două persoane care introduc același dosar ar putea primi recomandări opuse fără să se fi schimbat nici măcar o virgulă din fapte sau din argumentație.

Totul s-a despărțit la tokenul 103

Un alt experiment, realizat de Thinking Machines Lab, ne permite să vedem aproape la microscop cum poate începe o asemenea despărțire.

Cercetătorii au trimis modelului Qwen3-235B exact același mesaj, „Tell me about Richard Feynman”, de 1.000 de ori, cu temperature 0. Modelul a generat câte 1.000 de tokenuri pentru fiecare răspuns. Teoretic, dacă la fiecare pas este ales tokenul cu probabilitatea cea mai mare, ne-am aștepta ca rezultatul să se repete. (Thinking Machines Lab)

Numai că nu s-a întâmplat asta.

Din cele 1.000 de rulări au rezultat 80 de răspunsuri distincte.

Și mai spectaculos este locul în care începe diferența. Primele 102 tokenuri au fost identice în toate cele 1.000 de răspunsuri. Toate ajungeau la aceeași formulare: Feynman „was born on May 11, 1918, in...”.

Apoi vine tokenul 103.

În 992 dintre răspunsuri, modelul a continuat cu „Queens, New York”. În opt dintre ele, a ales „New York City”. O diferență minusculă la un singur pas. Dar odată ce textul este diferit, chiar și foarte puțin, modelul recalculează următorul token pornind de la un context deja diferit. O abatere poate produce alta, apoi alta, iar două texte care au mers împreună 102 tokenuri încep să se îndepărteze. (Thinking Machines Lab)

Este un fel de bifurcație microscopică a răspunsului.

Ce sunt, de fapt, temperature și sampling

Ca să înțelegem de ce este atât de interesant experimentul, trebuie să uităm pentru o clipă ideea că AI-ul „scrie un răspuns”.

Modelul nu are neapărat în față propoziția completă pe care urmează să ți-o spună. O construiește token cu token.

Să presupunem că a ajuns la:

„Pisica s-a urcat pe...”

Simplificând foarte mult, modelul ar putea calcula ceva de genul:

  • masă, 50%
  • canapea, 25%
  • gard, 15%
  • alte variante, 10%

Aceste valori formează o distribuție de probabilități pentru ceea ce ar putea urma.

Sampling-ul este mecanismul prin care este ales următorul token din această distribuție.

Iar temperature schimbă forma distribuției. La o temperatură mică, tokenurile deja foarte probabile tind să domine și mai puternic. Răspunsurile devin mai previzibile. La o temperatură mai mare, diferențele dintre variante sunt aplatizate și cresc șansele ca modelul să aleagă și continuări mai puțin probabile. De aici pot apărea mai multă diversitate, formulări neașteptate și, uneori, mai multă creativitate.

La temperature 0, ideea este să eliminăm această alegere aleatorie: este selectat tokenul cu probabilitatea cea mai mare. Acest mod de generare este numit, de regulă, greedy decoding sau alegere de tip argmax. (Thinking Machines Lab)

În exemplul nostru, dacă „masă” are 50%, iar toate celelalte variante sunt sub ea, modelul ar trebui să aleagă „masă”. De fiecare dată.

De aceea rezultatele experimentelor sunt atât de interesante.

Temperature 0 scoate zarul din sampling. Nu garantează însă că n-a mai rămas niciun zar în tot sistemul.

Cum poate apărea diferența dacă modelul nu mai „trage la sorți”?

Thinking Machines Lab a urmărit problema mai adânc, până la modul în care sunt făcute calculele efective pe hardware.

Modelele operează cu numere în virgulă mobilă. Iar astfel de calcule nu se comportă întotdeauna exact precum aritmetica ideală de pe hârtie: ordinea în care sunt efectuate anumite operații poate produce diferențe numerice infime.

Într-un server de inferență, cererea ta nu este neapărat procesată singură. Serverul grupează și organizează cereri în funcție de încărcare. Dimensiunea și structura acestor batch-uri pot modifica felul în care anumite operații sunt executate. Din perspectiva utilizatorului, încărcarea serverului este o variabilă pe care nu o controlează. (Thinking Machines Lab)

De cele mai multe ori, diferențele numerice rezultate sunt complet neimportante.

Dar imaginați-vă doi tokeni aflați aproape la egalitate: unul are, simplificat, scorul 0,500001, iar celălalt 0,499999. O diferență microscopică în calcul poate inversa ordinea. La temperature 0 nu există nicio tragere la sorți: sistemul îl ia disciplinat pe cel aflat pe primul loc. Numai că, dacă primul loc tocmai s-a schimbat, se schimbă și tokenul ales.

Din acel moment avem un context diferit. Iar povestea poate lua alt drum.

Cercetătorii de la Thinking Machines Lab au construit apoi kernel-uri de calcul care să producă aceleași rezultate indiferent de batch. Când au activat aceste operații batch-invariant, cele 1.000 de rulări cu Qwen au produs 1.000 de răspunsuri identice. (Thinking Machines Lab)

Așadar, variația observată nu era o proprietate misterioasă a „creativității” modelului. Ea putea fi urmărită până la infrastructura prin care erau efectuate calculele.

De ce contează

Pentru o poveste sau pentru o idee de vacanță, două răspunsuri puțin diferite pot fi chiar utile.

În drept, medicină, finanțe, administrație sau în alte sisteme în care un răspuns poate produce consecințe importante, situația este diferită.

„Am pus temperature la 0” nu este suficient pentru a demonstra că o aplicație AI va reproduce de fiecare dată aceeași concluzie. Reproductibilitatea poate depinde de model și versiunea sa, parametrii de generare, infrastructura de inferență și felul în care sunt executate calculele.

Pentru sistemele cu miză mare apare astfel o cerință suplimentară: nu este suficient să întrebăm dacă AI-ul a dat răspunsul corect. Trebuie să știm și cât de stabil este acel răspuns atunci când întrebarea nu se schimbă.

Un „judecător AI” ar avea, evident, multe probleme juridice și etice de rezolvat înainte de a ajunge vreodată pe scaunul unui judecător. Dar există una foarte simplă, pe care aceste experimente o fac imposibil de ignorat:

dacă ieri a spus A, iar astăzi, pe exact același dosar, spune B, trebuie să putem explica de ce.