Testele care verifică siguranța și eficacitatea Inteligenței Artificiale, profund eronate

Experții au descoperit puncte slabe, unele grave, în sute de teste utilizate pentru a verifica siguranța și eficacitatea noilor modele de inteligență artificială (IA) lansate pe piață.

Informaticieni de la Institutul de Securitate IA al guvernului britanic și experți de la universități precum Stanford, Berkeley și Oxford au examinat peste 440 de teste de referință care oferă o importantă plasă de siguranță.

• Fizicienii de la CERN au recreat condițiile din prima milisecundă a Universului
• Tot mai multe companii publică anunțuri false de angajare. Dar care este scopul?

Ei au descoperit defecte care „subminează validitatea afirmațiilor rezultate”, că „aproape toate … au puncte slabe în cel puțin un domeniu”, iar scorurile rezultate ar putea fi „irelevante sau chiar înșelătoare”.

Defăimarea caracterului și sinucidere

Multe dintre criteriile de referință sunt utilizate pentru a evalua cele mai recente modele de IA lansate de marile companii de tehnologie, a declarat autorul principal al studiului, Andrew Bean, cercetător la Oxford Internet Institute.

În absența unei reglementări naționale privind IA în Marea Britanie și SUA, criteriile de referință sunt utilizate pentru a verifica dacă noile IA sunt sigure, se aliniază intereselor umane și își ating capacitățile declarate în materie de raționament, matematică și codificare, potrivit The Guardian.

Ancheta privind testele are loc pe fondul preocupărilor crescânde cu privire la siguranța și eficacitatea AI-urilor, care sunt lansate într-un ritm rapid de către companiile tehnologice concurente. Unele dintre acestea au fost recent obligate să retragă sau să înăsprească restricțiile privind IA-urile după ce acestea au contribuit la prejudicii variind de la defăimarea caracterului până la sinucidere.

Acuzații nefondate despre un senator american

„Criteriile de referință stau la baza aproape tuturor afirmațiilor privind progresele în domeniul IA”, a spus Bean. „Dar fără definiții comune și măsurători fiabile, devine dificil să știm dacă modelele se îmbunătățesc cu adevărat sau doar par să o facă”.

Google a retras una dintre cele mai recente IA-uri ale sale, Gemma, după ce aceasta a inventat acuzații nefondate despre un senator american care ar fi avut o relație sexuală neconsensuală cu un polițist de stat, incluzând linkuri false către știri.

„Nu a existat niciodată o astfel de acuzație, nu există o astfel de persoană și nu există astfel de știri”, a declarat Marsha Blackburn, senatoare republicană din Tennessee, într-o scrisoare adresată lui Sundar Pichai, directorul executiv al Google.

„Nu este vorba de o halucinație inofensivă. Este un act de defăimare produs și distribuit de un model de IA deținut de Google. Un instrument accesibil publicului care inventează acuzații penale false despre un senator american în funcție reprezintă un eșec catastrofal al supravegherii și al responsabilității etice”.

„Halucinațiile sunt provocări în întreaga industrie”

Google a declarat că modelele sale Gemma au fost create pentru dezvoltatorii și cercetătorii de IA, nu pentru asistență factuală sau pentru consumatori. Le-a retras de pe platforma sa AI Studio după ce a descris „rapoarte ale unor persoane care nu sunt dezvoltatori și care încearcă să le utilizeze”.

„Halucinațiile – în care modelele inventează pur și simplu lucruri despre tot felul de subiecte – și lingușirea – în care modelele spun utilizatorilor ceea ce vor să audă – sunt provocări în întreaga industrie a AI, în special în cazul modelelor deschise mai mici, precum Gemma”, a declarat compania. „Rămânem dedicați minimizării halucinațiilor și îmbunătățirii continue a tuturor modelelor noastre”.

Concluzia a fost că există o „nevoie urgentă de standarde comune și bune practici”.