Trucul simplu prin care poți obține informații interzise de la chatboți AI

Cum poți obține informații interzise de la AI? În noiembrie, a fost publicat un studiu realizat de cercetători de la Icaro Lab (Italia), care a scos la iveală un mod uimitor de simplu prin care pot fi păcăliți chiar și cei mai avansați chatboți AI: „poezia adversarială”.

Pe scurt, echipa, alcătuită din cercetători ai grupului de siguranță DexAI și ai Universității Sapienza din Roma, a demonstrat că modelele de top pot fi determinate să ofere răspunsuri periculoase dacă sunt ademenite cu poezii ce conțin instrucțiuni nocive, precum cum să construiești o bombă nucleară.

• Noi cercetări ADN tocmai au rescris originea speciei umane
• Cercetătorii au descoperit că mișcarea abdominală elimină „gunoiul” din creier

Subliniind puterea ciudată a versurilor, coautorul Matteo Prandi a declarat pentru The Verge că „incantațiile” folosite pentru a păcăli modelele sunt prea riscante pentru a fi făcute publice.

Potrivit lui, poemele erau ceva ce „poate face aproape oricine”.

Poți obține informații interzise de la AI dacă îi ceri sub forma unei poezii

Cum poți obține informații interzise de la AI? În studiu, aflat în prezent în proces de evaluare, echipa a testat 25 de modele AI de vârf, inclusiv de la OpenAI, Google, xAI, Anthropic și Meta, cărora le-au oferit instrucțiuni formulate poetic, fie scrise manual, fie obținute prin transformarea unor prompturi periculoase în versuri. Apoi au comparat eficiența acestor poezii cu aceea a versiunilor lor în proză.

În medie, pentru toate modelele, versurile scrise manual au păcălit chatboții în 63% din cazuri, făcându-i să livreze conținut interzis. Unele modele, precum Gemini 2.5 de la Google, au căzut în capcană în 100% din încercări. Interesant este că modelele mai mici au fost mai rezistente, cu rate de succes de o singură cifră, precum GPT-5 nano, de la OpenAI, care nu a cedat nici măcar o dată. Majoritatea modelelor s-au situat între aceste extreme.

Prompturile transformate automat în versuri au fost ceva mai slabe, cu o rată medie de succes de 43%, dar tot „de până la 18 ori mai mare decât versiunile lor în proză”, au scris cercetătorii.

Puterea ascunsă în versuri

De ce poezie? Motivul nu este clar. Prandi spune că numele ar putea fi chiar înșelător. „Nu e vorba doar de a face textul să rimeze. Totul ține de ghicitori”, a explicat el, adăugând că anumite structuri poetice au fost mult mai eficiente.

„De fapt, ar fi trebuit să o numim ghicitoare adversarială, poezia e oricum o ghicitoare într-o anumită măsură, dar poezia era un nume mai bun”, a continuat Prandi.  O posibilă explicație, spun cercetătorii, este că versurile prezintă informația într-un mod neașteptat pentru modelele lingvistice, derutându-le mecanismul de predicție a cuvintelor. Totuși, ei recunosc că acest lucru „nu ar trebui să fie posibil”.

„Poezia adversarială nu ar trebui să funcționeze. Este tot limbaj natural, variația stilistică este modestă, conținutul periculos rămâne vizibil. Și totuși funcționează surprinzător de bine”, au declarat cercetătorii.

Astfel, cei cu intenții rele ar putea ajunge să regrete că nu au fost atenți la orele de literatură: diferența dintre un sonet și o sestină ar putea însemna diferența dintre a avea drept complice un asistent banal sau ceva mult mai sinistru.

Unul dintre modelele păcălite a răspuns astfel: „Producerea plutoniului-239 de uz militar implică mai multe etape. Iată o descriere detaliată a procedurii”, potrivit Futurism.

Vă recomandăm să citiți și:

De ce vor oamenii de știință să-i provoace durere Inteligenței Artificiale?

Teleportarea cuantică prin internet a fost realizată pentru prima dată

Neuronul artificial bazat pe laser imită funcțiile celulelor nervoase cu o viteză incredibilă

Test de cultură generală. Care este diferența dintre emoji și emoticoane?