Peste jumătate dintre răspunsurile ChatGPT sunt greșite, arată un studiu

În ultimii ani, programatorii s-au îndreptat masiv către chatboți precum ChatGPT de la OpenAI pentru a-i ajuta să scrie cod, ceea ce a reprezentat o lovitură pentru platforme precum Stack Overflow, care a trebuit să concedieze aproape 30% din personal anul trecut. Dar se pare că răspunsurile legate de programare ale AI-ului sunt prea des incorecte.

O echipă de cercetători de la Universitatea Purdue (SUA) a prezentat în luna mai, la conferința Computer-Human Interaction, o cercetare care arată că 52% din răspunsurile generate de ChatGPT în domeniul programării sunt incorecte.

• Participarea la vot ar avea beneficii asupra sănătății, arată un studiu
• Copiii nu sunt protejați suficient pe Facebook și Instagram, acuză Uniunea Europeană

Procentajul cu privire la răspunsurile legate de programare ale AI-ului care sunt incorecte este incredibil de mare pentru un program pe care oamenii se bazează pentru a fi precis și exact, subliniind ceea ce alți utilizatori finali, cum ar fi scriitorii și profesorii, experimentează: platformele de inteligență artificială precum ChatGPT generează adesea răspunsuri complet eronate din senin.

Răspunsurile legate de programare ale lui ChatGPT sunt foarte imprecise

Pentru acest studiu, cercetătorii au analizat 517 întrebări de pe Stack Overflow și au evaluat încercările ChatGPT de a răspunde la ele.

„Am constatat că 52% dintre răspunsurile ChatGPT conțin informații eronate, 77% dintre răspunsuri sunt mai ‘vorbărețe’ decât cele umane și 78% dintre răspunsuri suferă de diferite grade de inconsistență față de răspunsurile umane”, au scris ei.

Echipa a realizat, de asemenea, o analiză lingvistică a 2.000 de răspunsuri generate aleatoriu de ChatGPT și a constatat că acestea erau „mai formale și analitice” și afișau „mai puțin sentiment negativ”, ceea ce este tonul fad și optimist specific AI-ului, notează Futurism.

De ce programatorii preferă să folosească în continuare ChatGPT?

Ce este deosebit de îngrijorător este că mulți programatori par să prefere răspunsurile lui ChatGPT. Cercetătorii de la Purdue au intervievat 12 programatori (recunoscând că este un eșantion mic) și au constatat că aceștia preferau răspunsurile de la ChatGPT în proporție de 35% și nu detectau greșelile generate de AI în proporție de 39%.

De ce se întâmplă acest lucru? S-ar putea ca ChatGPT să fie mai politicos decât oamenii online.

„Interviurile semi-structurate ulterioare au dezvăluit că limbajul politicos și răspunsurile articulate și în stil de manual sunt câteva dintre motivele principale care au făcut ca răspunsurile ChatGPT să pară mai convingătoare, astfel încât participanții au lăsat garda jos și au trecut cu vederea unele informații eronate din răspunsurile chatbotului”, au scris cercetătorii.

Studiul demonstrează că ChatGPT încă are defecte majore, dar acest lucru nu reprezintă o consolare pentru persoanele concediate de la Stack Overflow sau pentru programatorii care trebuie să corecteze greșelile generate de AI în cod.

Vă recomandăm să citiți și:

Microsoft propune o funcție „Big Brother” care înregistrează tot ce facem pe computer

Dublarea vitezei de procesare a computerelor, posibilă printr-o metodă inovatoare

Computerele obișnuite încă le pot întrece pe cele cuantice. Iată cum!

Pot algoritmii să detecteze sarcasmul?