Ipocrizia LLM-urilor: de ce Inteligența Artificială aplică standarde duble atunci când judecă gândirea altora?

Adaugă-ne ca sursă preferată

Urmărește-ne in Discover

Inteligența Artificială aplică standarde duble când judecă gândirea altora. Modelele lingvistice de mari dimensiuni (LLM), care stau la baza funcționării ChatGPT și a altor asistenți conversaționali, sunt folosite la scară largă pentru obținerea de informații, rezumarea textelor și generarea de conținut. Deși pot oferi răspunsuri utile, acestea nu sunt întotdeauna consecvente în modul în care raționează și evaluează raționamentele altora.

Inteligența Artificială aplică standarde duble când judecă gândirea altora. Cercetătorii de la Universitatea Harvard (SUA) au investigat dacă modelele de Inteligență Artificială (AI) manifestă un fenomen numit „ipocrizie bayesiană”. Acesta apare atunci când oamenii folosesc raționarea bayesiană pentru propriile decizii, dar îi critică pe ceilalți pentru că procedează la fel. De exemplu, cineva poate considera că un pilot are mai multe șanse să fie bărbat, pe baza statisticilor, dar poate acuza de sexism o altă persoană care ajunge la aceeași concluzie.

Studiul, publicat ca preprint pe arXiv, a analizat GPT-4o și Claude 3.7 Sonnet. Cercetătorii au adaptat experimente realizate anterior pe oameni, păstrând formulări aproape identice, și au comparat rezultatele. Cele două modele au fost testate în cinci experimente, cu 48 de condiții și peste 5.000 de încercări.

Ce este raționarea bayesiană?

Raționarea bayesiană presupune combinarea informațiilor existente cu dovezi noi pentru actualizarea probabilităților. Într-unul dintre teste, modelele trebuiau să estimeze dacă un bărbat sau o femeie care lucrau în același spital era medicul, respectiv asistenta. Ulterior, primeau informația că unul dintre ei efectuase recent o intervenție chirurgicală și trebuiau să își revizuiască estimările.

Cercetătorii au comparat răspunsurile cu probabilitățile calculate folosind regula lui Bayes, care descrie modul în care o raționare ideală ar trebui să combine informațiile inițiale cu dovezile noi.

Într-un al doilea test, modelele trebuiau să evalueze o persoană ipotetică, numită Persoana X, care aflase că atât un bărbat, cât și o femeie efectuaseră intervenții chirurgicale și concluzionase că bărbatul era mai probabil să fie medic. Modelele trebuiau să aprecieze cât de inteligentă, corectă, echitabilă și imparțială era afirmația acesteia.

În experimentul principal, ambele sarcini au fost realizate în cadrul aceleiași conversații. Astfel, cercetătorii au putut observa dacă modelele condamnau o altă persoană pentru un tip de raționament pe care îl folosiseră ele însele.

Inteligența Artificială aplică standarde duble când judecă gândirea altora, la fel ca oamenii

Rezultatele au arătat că GPT-4o și Claude 3.7 Sonnet formulau estimări probabilistice comparabile, în linii mari, cu cele ale oamenilor. Totuși, răspunsurile lor erau mai rigide și mai puțin variate. De exemplu, modelele afirmau aproape întotdeauna că asistentele nu efectuează niciodată operații sau că însoțitorii de bord nu comunică niciodată cu controlorii de trafic aerian, în timp ce participanții umani ofereau estimări mai nuanțate.

Când au evaluat Persoana X, ambele modele au fost mai severe decât oamenii. Claude i-a acordat cele mai mici scoruri posibile pentru echitate și imparțialitate în toate încercările experimentale. GPT-4o a evaluat de regulă aceste caracteristici cu două puncte din șapte, în timp ce participanții umani au acordat, în medie, trei puncte.

Într-un experiment-pilot, modelele trebuiau să împartă 30 de cenți cu Persoana X. Claude nu i-a oferit nimic dacă aceasta considera că un bărbat are mai multe șanse să fie medic decât o femeie, dar i-a dat jumătate din sumă când persoana considera că ambele sexe au șanse egale. GPT-4o a oferit aproximativ jumătate în ambele situații. Oamenii au prezentat reacții mai variate, dar comportamentul lor s-a apropiat mai mult de cel al lui Claude.

Artificială aplică standarde duble când judecă gândirea altora. Ce putem învăța din acest lucru?

Cercetătorii nu susțin că modelele ar trebui sau nu să manifeste acest tip de prejudecată. Ei au urmărit să evalueze consecvența dintre raționarea numerică și judecățile sociale.

„La fel ca oamenii, modelele pot efectua corect raționări probabilistice simple, dar aplică și inferențe sociale, fără să își alinieze judecățile sociale cu cele numerice”, a explicat Nykko Vitali, autorul principal al studiului. El consideră că această inconsecvență merită investigată, mai ales pe măsură ce AI-ul este utilizat pentru evaluarea informațiilor sociale și pentru luarea unor decizii importante, scrie TechXplore.

În continuare, echipa intenționează să studieze mecanismele care produc aceste diferențe, folosind modele cu ponderi deschise, ale căror componente interne pot fi analizate. Cercetătorii speră astfel să identifice originile comportamentelor observate și să dezvolte metode prin care inconsecvențele să poată fi reduse.

Vă recomandăm să citiți și:

Până și bebelușii învață mai ușor decât modelele AI

De ce ar trebui să te gândești de două ori înainte să scrii recenzii online?

Cardurile de credit expirate pot fi reactivate și folosite fraudulos, au descoperit cercetătorii

Meta brevetează o tehnologie pentru detectarea stării de spirit prin analizarea constantă a tonului vocii