Paradoxul Inteligenței Artificiale: dacă îi ceri să se comporte ca un expert, o poți face mai puțin precisă

Pentru a obține rezultate cât mai bune de la Inteligența Artificială, unii utilizatori îi cer să se comporte ca un expert. Alții îi solicită să adopte un anumit rol, de exemplu cel de supraveghetor de siguranță, pentru a-și ghida răspunsurile.

Totuși, potrivit unui nou studiu, dacă îi ceri AI-ului să se comporte ca un expert, acest lucru îi poate afecta uneori performanța.

Studiul este publicat pe platforma arXiv.

Pentru a testa cât de bine se descurcă modelele lingvistice mari (LLM) atunci când li se cere să „joace” un rol, cercetători de la Universitatea din California (SUA) au realizat un experiment amplu, folosind 12 tipuri diferite de „personaje” pe șase modele de limbaj. Printre acestea s-au numărat experți în domenii precum matematica, programarea sau STEM (știință, tehnologie, inginerie și matematică), dar și roluri generale, precum scriitor creativ sau responsabil de siguranță.

Dacă îi ceri AI-ului să se comporte ca un expert, acest lucru îi poate afecta performanța

Rezultatele au arătat că adoptarea unei identități este, într-un fel, o sabie cu două tăișuri. Pe de o parte, face ca AI-ul să pară mai profesionist și mai sigur (respectând mai bine regulile și evitând conținutul problematic). Pe de altă parte, poate afecta capacitatea acestuia de a-și aminti corect informațiile.

Cercetătorii explică acest lucru prin faptul că, atunci când este forțat să adopte un rol, AI-ul intră mai degrabă într-un mod de urmare a instrucțiunilor decât într-un mod de recuperare a cunoștințelor. Pentru a rezolva această problemă, echipa a dezvoltat PRISM (Persona Routing via Intent-based Self-Modeling), o metodă de antrenare care învață modelul când să folosească un rol și când nu.

În practică, atunci când primește o întrebare, PRISM generează atât un răspuns „neutru”, cât și unul formulat din perspectiva unui rol, le compară și decide care variantă este mai potrivită pentru utilizator.

În timpul antrenării, sistemul a fost învățat să producă două răspunsuri distincte pentru fiecare solicitare: unul bazat pe „gândirea” sa standard și altul din perspectiva rolului atribuit. În timp, a învățat să identifice exact situațiile în care vocea unui expert este utilă și pe cele în care devine o distragere.

Dacă sistemul consideră că varianta fără rol este mai precisă, răspunsul „expert” nu este aruncat. În schimb, informațiile valoroase din acesta sunt păstrate într-o componentă ușoară numită adaptor LoRA, ceea ce îi permite modelului să folosească ulterior raționamente de tip expert, relatează TechXplore.

O încercare de a face Inteligența Artificială mai precisă

Cercetătorii au testat PRISM folosind 12 tipuri de roluri, inclusiv în domenii sensibile precum medicina și dreptul. În testele care necesitau cunoștințe brute, introducerea unui rol de expert a redus acuratețea AI-ului. În schimb, pentru sarcini de redactare și siguranță, aceste roluri au îmbunătățit performanța.

Per ansamblu, PRISM a crescut scorul general al modelelor cu unu până la două puncte în testul MT-Bench, care măsoară capacitatea unui AI de a urma instrucțiuni și de a menține un ton util.

„PRISM îmbunătățește preferințele și alinierea la siguranță în sarcinile generative, păstrând în același timp acuratețea în cele de tip analitic, în toate modelele testate, oferind o dovadă solidă a concluziilor noastre”, au declarat cercetătorii în lucrare.

Dezvoltarea PRISM va continua, urmând să fie testat cu mai multe tipuri de roluri și îmbunătățit pentru a înțelege și mai bine nevoile utilizatorilor.

Vă recomandăm să citiți și:

Iată cum Inteligența Artificială ar putea distruge anonimitatea online

De ce încearcă cercetătorii să simuleze efectul substanțelor psihedelice asupra Inteligenței Artificiale?

Agenții AI sunt matematic incapabili să efectueze o muncă funcțională

Cercetătorii au descoperit că Inteligența Artificială învață mai bine atunci când „vorbește” cu ea însăși