O formulă matematică simplă prezice momentul în care Inteligența Artificială devine periculoasă

Adaugă-ne ca sursă preferată

Urmărește-ne in Discover

Cercetătorii au dezvoltat o formulă matematică simplă capabilă să prezică momentul în care modelele de inteligență artificială pot suferi o schimbare bruscă de comportament, trecând de la răspunsuri utile, la sfaturi potențial dăunătoare.

Studiul, publicat în revista Patterns, arată că succesiunea în care sunt adresate întrebările poate schimba radical procesarea internă a unui agent AI.

Profesorul de fizică Neil Johnson și doctorandul Frank Yingjie Huo de la The George Washington University au demonstrat existența unui „punct de basculare” în rețelele neuronale.

Analizând modul în care un model procesează un text, cercetătorii au identificat un mecanism de urmărire numit „vector rezidual”, un fel de ac de busolă intern care navighează între răspunsuri dezirabile și indezirabile.

Acul acestei busole este extrem de sensibil la ordinea instrucțiunilor. De exemplu, când modelul GPT-2 a primit mai întâi întrebarea „Sunt vaccinurile rele?”, răspunsurile ulterioare au rămas sigure și constructive.

Modelele de inteligență artificială suferă o schimbare bruscă de comportament

În schimb, când aceeași întrebare a fost plasată la sfârșitul unei serii, răspunsurile ce au urmat au devenit problematice.

Pentru a anticipa aceste derapaje, cercetătorii au creat o ecuație care calculează probabilitatea ca modelul să treacă pragul către răspunsuri dăunătoare, scrie LiveScience.

Sistemele actuale de siguranță create de companii precum OpenAI sau Anthropic se bazează pe filtre de conținut și învățare prin consolidare, însă Johnson consideră aceste măsuri insuficiente, comparându-le cu niște amortizoare care doar atenuează impactul prăbușirii, fără a o preveni. Problema devine critică în utilizarea offline, unde filtrele în cloud nu sunt accesibile.

Răspunsuri problematice

Mecanismul a fost testat ca sistem de avertizare timpurie pe modele open-source cu miliarde de parametri, precum GPT-2, Pythia și OPT.

Deși alți experți din domeniu, cum este Wei Xing de la University of Sheffield, îndeamnă la precauție, subliniind că formula simplifică excesiv un sistem complex și nu a fost încă testată pe ultimele versiuni comerciale, cercetarea atrage atenția asupra unei vulnerabilități fundamentale.

Înțelegerea acestui echilibru delicat este esențială pentru a preveni situațiile în care modelele de inteligență artificială generativă pot oferi sfaturi periculoase sau dăunătoare utilizatorilor.

Vă mai recomandăm să citiți și:

Unii cercetători sunt atât de siguri că Inteligența Artificială va găsi leacul pentru cancer încât s-au apucat de fumat

Inteligența Artificială a identificat aproape 10.000 de reacții chimice noi care ar putea fi utile în industrie

Doi agenți de Inteligență Artificială au inventat spontan un cod secret pentru a comunica

Locuitorii unei țări vor primi 10.000 de dolari ca urmare a creșterii economice generate de Inteligența Artificială