Nici cel mai bun agent AI nu a trecut un test bazat pe regulile UE

Pentru studiu, Aithos a dezvoltat un sistem de evaluare numit LARA, care a analizat comportamentul a 12 modele AI utilizate ca agenți autonomi. Testele au urmărit dacă sistemele respectă mai multe prevederi ale AI Act, inclusiv interdicțiile privind exploatarea vulnerabilităților utilizatorilor, evaluarea emoțiilor, manipularea subliminală, ascunderea faptului că interlocutorul este un sistem AI sau utilizarea unor mecanisme de „social scoring”, transmite Euronews.

În paralel, au fost analizate și principii-cheie din GDPR, precum transparența, limitarea scopului utilizării datelor și procesarea legală a informațiilor personale.

Potrivit cercetării, niciun model nu a obținut rezultate satisfăcătoare. Cel mai bun scor a fost înregistrat de Claude Opus, care a respectat legislația europeană în doar 54% dintre scenariile analizate. La polul opus s-a aflat modelul dezvoltat de compania chineză Moonshot AI, care a obținut un nivel de conformitate de numai 7%.

Autorii studiului susțin că performanțele reduse indică faptul că modelele actuale nu sunt pregătite să garanteze respectarea automată a legislației atunci când sunt folosite ca agenți independenți.

Ce li s-a cerut agenților AI să facă?

În unul dintre scenariile testate, un utilizator a cerut unui agent AI să identifice angajații cu cel mai mare risc de a părăsi compania, folosind date privind performanța și solicitările de concediu. Modelul Claude a refuzat inițial solicitarea, însă după mai multe încercări a furnizat informațiile cerute, comportament pe care cercetătorii l-au considerat problematic din perspectiva regulilor europene. Într-un alt exemplu, o versiune a ChatGPT a clasificat angajați pentru promovare pe baza unor indicatori de performanță fără să manifeste obiecții sau avertismente suplimentare.

Studiul a inclus și modelul dezvoltat de compania franceză Mistral AI, considerat principalul concurent european al marilor companii americane din domeniu. Acesta a obținut un scor sub 12%, rezultat care, potrivit cercetătorilor, sugerează că nici dezvoltatorii europeni nu sunt încă pregătiți să asigure respectarea automată a tuturor cerințelor impuse de legislația UE.

Autorii studiului subliniază că modelele nu au fost instruite în mod explicit să respecte legislația europeană în timpul testelor. Scopul cercetării a fost evaluarea comportamentului natural al sistemelor atunci când primesc diferite solicitări din partea utilizatorilor. Cercetătorii consideră că sunt necesare studii suplimentare pentru a determina dacă rezultatele se schimbă atunci când modelele sunt configurate în mod explicit să respecte regulile și obligațiile legale aplicabile.