Ce a arătat, de fapt, experimentul

Studiul publicat de Cambridge University Press în revista Judgment and Decision Making, coordonat de Sydney Sears și Dr. Deena Weisberg, de la departamentul de științe psihologice și ale creierului al Universității Villanova, a pornit de la o întrebare simplă: mai pot cititorii de astăzi să deosebească ficțiunea scrisă de un autor uman de cea produsă de un model de limbaj? Pentru a afla răspunsul, cercetătorii au folosit șase povestiri scurte, din care trei semnate de scriitori publicați și trei generate de ChatGPT, povestiri pe care le-au expus unor eșantioane diferite de cititori, în trei experimente succesive.

În primul dintre acestea, 1.682 de participanți au citit câte o singură povestire, însoțită de o etichetă despre autor care putea fi corectă sau, dimpotrivă, înșelătoare, după care au notat cât de captivant li s-a părut textul. În experimentele următoare, la care au luat parte 424, respectiv 481 de persoane, fiecare participant a primit de această dată câte o povestire scrisă de om și una generată de AI, fără nicio indicație despre proveniența lor, cu sarcina de a ghici care este care. Rezultatele au fost, în ambele cazuri, aproape identice cu ceea ce ar produce hazardul: acuratețea identificării a fost de 39,93% în al doilea experiment, semnificativ mai slabă decât rezultatul aleatoriu,  și de 51,97% în al treilea, practic identic statistic cu o alegere la întâmplare.

Cel mai revelator rezultat a apărut, însă, atunci când eticheta despre autor a intrat în joc. „Participanții au acordat cele mai mari calificative povestirilor despre care li s-a spus că sunt scrise de oameni, dar care erau de fapt create de AI", a explicat Weisberg, adăugând că acest tipar „dezvăluie o prejudecată în favoarea narațiunilor scrise de persoane reale", o prejudecată care nu favorizează autenticitatea în sine, ci eticheta. Atunci când aceeași etichetă e purtată, fals, de un text AI deja avantajat de claritatea sa stilistică, autorii umani ajung să concureze nu doar cu alți autori, ci cu propria reputație pe care autorii umani și-au construit-o în timp, reputație împrumutată acum de o mașină."

De ce sună bine textul AI pentru urechea cititorului

Explicația propusă de cercetătoare ține mai degrabă de psihologia lecturii decât de vreo superioritate artistică a algoritmilor. Potrivit lui Weisberg, „textele scrise de AI tind să fie mai clare, mai directe și mai ușor de parcurs", în timp ce „povestirile scrise de oameni sunt adesea mai subtile și mai complexe". Cu alte cuvinte, un cititor obișnuit ar prefera, la nivel general, previzibilitatea unui text ușor de digerat unui material care cere un efort cognitiv suplimentar.

Interesant este și cine reușește, totuși, să recunoască textul generat de mașină: nu cititorii care se consideră experți în literatură, ci cei cu un nivel ridicat de familiaritate cu sistemele de inteligență artificială. Aceștia din urmă au învățat să recunoască tiparele stilistice specifice modelelor de limbaj, semn că priceperea de a detecta textul artificial ține mai degrabă de alfabetizare digitală decât de gust literar rafinat.

Limitele studiului merită menționate

Autoarele recunosc limitările designului experimental. Povestirile folosite au fost scurte, doar câteva minute de lectură, iar rezultatele ar putea arăta diferit pentru texte mai lungi, unde AI ar putea avea mai multe dificultăți în a dezvolta personaje și intrigă pe parcursul unei opere ample. În plus, toate povestirile testate au aparținut ficțiunii realiste; cercetătoarele notează că genuri diferite ar putea produce rezultate diferite. Nu în ultimul rând, sarcina din Studiile 2 și 3 le-a spus explicit participanților că una dintre cele două povești primite era scrisă de AI, o informație pe care oamenii nu o au, de regulă, în viața reală.

Un peisaj creativ tot mai greu de cartografiat

Fenomenul depășește, de altfel, granițele ficțiunii. Aceeași incapacitate de a distinge fiabil textul uman de cel generat de AI se regăsește și în mediul universitar, unde instrumente automate precum Turnitin s-au dovedit la fel de nesigure pe cât s-au dovedit cititorii din acest studiu: potrivit Inside Higher Ed, universități precum Yale, Vanderbilt, Johns Hopkins sau Northwestern au renunțat treptat la aceste detectoare, după ce au înregistrat rate de fals-pozitiv mai mari decât cele promise inițial de producători.

Studiul completează un șir tot mai lung de cercetări care pun sub semnul întrebării premisa conform căreia scrisul creativ ar depinde exclusiv de calități considerate strict umane, precum înțelegerea emoțională sau experiența de viață trăită. Weisberg observă că percepțiile publicului larg despre capacitățile creative ale inteligenței artificiale sunt „din ce în ce mai depășite”.

Studiul nu arată însă că poveștile scrise de AI câștigă, ci că eticheta „scris de om" influențează percepția mai mult decât conținutul propriu-zis.  Având în vedere că și algoritmii instrumentelor de detectare a textului generat de AI rămân nesiguri, în anii următori va fi din ce în ce mai greu să se facă distincția dintre autor uman și autor artificial.

Surse