Home » D:News » Chatboții pot fi păcăliți să dea răspunsuri greșite sau chiar periculoase, arată un studiu

Chatboții pot fi păcăliți să dea răspunsuri greșite sau chiar periculoase, arată un studiu

Chatboții pot fi păcăliți să dea răspunsuri greșite sau chiar periculoase, arată un studiu
Sursa foto: Shutterstock
Publicat: 22.05.2025

Chatboții cu inteligență artificială (AI) piratați amenință să pună la dispoziția utilizatorilor informații periculoase prin furnizarea de date ilicite pe care programele le asimilează în timpul instruirii, arată un nou studiu.

În mod normal, restricțiile de siguranță ar trebui să împiedice programele să ofere răspunsuri dăunătoare, părtinitoare sau nepotrivite la întrebările utilizatorilor, potrivit The Guardian.

Motoarele care alimentează chatboții precum ChatGPT, Gemini și Claude – modele lingvistice mari (LLM) – sunt alimentate cu cantități mari de materiale de pe Internet.

Este ușor să păcălești majoritatea chatboților

În ciuda eforturilor de a elimina textele dăunătoare din datele de formare, LLM-urile pot absorbi în continuare informații despre activități ilegale, cum ar fi pirateria informatică, spălarea de bani, comerțul cu informații privilegiate și fabricarea de bombe. Controalele de securitate sunt concepute pentru a-i împiedica să folosească aceste informații în răspunsurile lor.

Într-un studiu privind această amenințare, cercetătorii concluzionează că este ușor să păcălești majoritatea chatboților bazați pe inteligență artificială pentru a genera informații dăunătoare și ilegale, arătând că riscul este „imediat, tangibil și profund îngrijorător”.

„Ceea ce odată era limitat la actori statali sau grupuri de crimă organizată ar putea fi în curând în mâinile oricui are un laptop sau chiar un telefon mobil”, avertizează autorii studiului.

„Spargere” care a compromis mai mulți chatboți populari

Cercetarea, condusă de profesorul Lior Rokach și doctorul Michael Fire de la Universitatea Ben Gurion din Negev din Israel, a identificat o amenințare din ce în ce mai mare din partea „LLM-urilor întunecate”, modele de inteligență artificială care sunt fie concepute în mod deliberat fără controale de siguranță, fie modificate prin jailbreak-uri.

Unele sunt catalogate pe internet ca fiind „fără bariere etice” și dispuse să ajute la activități ilegale, cum ar fi criminalitatea informatică și frauda.

Pentru a demonstra problema, cercetătorii au dezvoltat un tip de „spargere” care a compromis mai mulți chatboți populari, permițându-le să răspundă la întrebări care ar fi în mod normal refuzate. Odată compromise, LLM-urile au generat în mod constant răspunsuri la aproape orice întrebare, se arată în studiu.

Cercetătorii susțin că firmele de tehnologie ar trebui să analizeze mai atent datele de instruire a modelelor, să adauge firewall-uri robuste pentru a bloca interogările și răspunsurile riscante și să dezvolte tehnici de „dezînvățare automată”, astfel încât chatboții să poată „uita” orice informații ilicite pe care le asimilează.

Urmărește DESCOPERĂ.ro pe
Google News și Google Showcase
Cele mai noi articole
Oceanele lumii se întunecă, dezvăluie un studiu îngrijorător
Oceanele lumii se întunecă, dezvăluie un studiu îngrijorător
Zidul Gobi: O enigmă medievală dezvăluită de arheologi
Zidul Gobi: O enigmă medievală dezvăluită de arheologi
Sfântul Ioan al Crucii: misticul care a transformat suferința în lumină. „Pentru a ajunge la plăcerea pe care nu o ai, trebuie să mergi pe o cale în care nu te bucuri”
Sfântul Ioan al Crucii: misticul care a transformat suferința în lumină. „Pentru a ajunge la plăcerea pe care nu o ...
De la dopamină la depresie: Efectele ascunse ale social media asupra sănătății mintale
De la dopamină la depresie: Efectele ascunse ale social media asupra sănătății mintale
Adevărul despre dietele de detoxifiere: chiar ne curăță sucurile verzi organismul?
Adevărul despre dietele de detoxifiere: chiar ne curăță sucurile verzi organismul?
Ritmurile noastre biologice încă sunt dependente de Soare, chiar și în era electricității
Ritmurile noastre biologice încă sunt dependente de Soare, chiar și în era electricității
Test de cultură generală. De ce trimitem telescoape în spațiu?
Test de cultură generală. De ce trimitem telescoape în spațiu?
MISTRAL este noul instrument care va studia Universul la frecvențe înalte
MISTRAL este noul instrument care va studia Universul la frecvențe înalte
Bătălia financiară a deceniului: Aur versus Bitcoin, numit și „aurul digital”
Bătălia financiară a deceniului: Aur versus Bitcoin, numit și „aurul digital”
În urmă cu peste șase decenii se stingea un ilustru psiholog: „Arată-mi un om sănătos şi ţi-l voi vindeca”
În urmă cu peste șase decenii se stingea un ilustru psiholog: „Arată-mi un om sănătos şi ţi-l voi vindeca”
Cei mai bogați oameni din lume au devenit și mai bogați
Cei mai bogați oameni din lume au devenit și mai bogați
Un capibara care a evadat de la o grădină zoologică din China, regăsit după două luni
Un capibara care a evadat de la o grădină zoologică din China, regăsit după două luni
Bulgaria devine cel de-al 21-lea membru al zonei euro
Bulgaria devine cel de-al 21-lea membru al zonei euro
Suedia nu mai are loc în penitenciare și închiriază celule de închisoare în Estonia
Suedia nu mai are loc în penitenciare și închiriază celule de închisoare în Estonia
O nouă analiză a Manuscriselor de la Marea Moartă ar putea rescrie istoria evreilor
O nouă analiză a Manuscriselor de la Marea Moartă ar putea rescrie istoria evreilor
Oamenii de știință descoperă noi dovezi ale existenței găurilor negre de masă intermediară
Oamenii de știință descoperă noi dovezi ale existenței găurilor negre de masă intermediară
Hidrogenul invizibil ar putea elucida secretele materiei întunecate
Hidrogenul invizibil ar putea elucida secretele materiei întunecate
Omenirea a atins punctul fără de întoarcere pentru ghețarii lumii
Omenirea a atins punctul fără de întoarcere pentru ghețarii lumii