Agenții AI se chinuie să producă cercetări științifice originale, arată un nou studiu

Adaugă-ne ca sursă preferată

Urmărește-ne in Discover

Agenții AI se chinuie să producă cercetări științifice originale. Printre numeroasele predicții despre viitorul Inteligenței Artificiale (AI) se numără și ideea că, într-o zi, modelele AI vor putea realiza singure cercetare științifică, fără intervenția oamenilor. Deja pot scrie cod, efectua experimente și căuta informații în literatura de specialitate, însă cercetarea deschisă, în care nu există un răspuns prestabilit, ar necesita un salt important în ceea ce privește capacitățile lor.

Într-un studiu publicat pe serverul de preprinturi arXiv, cercetătorii au testat capacitatea AI-ului de a desfășura cercetare de acest tip și au constatat că modelele încă sunt departe de a putea face acest lucru cu succes.

Agenții AI se chinuie să producă cercetări științifice originale. Autorii le-au oferit unor agenți AI de ultimă generație, proiectați să desfășoare autonom sarcini complexe în mai multe etape, șase zile pentru a realiza cercetarea și a redacta lucrări pornind de la două proiecte de cercetare AI care încă nu fuseseră publicate. Astfel, agenții pur și simplu nu puteau găsi răspunsurile pe internet.

Modelele au avut acces complet la internet, putere de calcul dedicată și un buget de aproximativ 3.000 de dolari pentru utilizarea modelelor, ceea ce le-a permis să exploreze liber subiectele și să efectueze experimente. Temele abordate au fost structura și controlabilitatea personajelor atribuite modelelor lingvistice și dezvoltarea unui detector pentru schimbările de distribuție în modelele fundamentale care lucrează cu date tabelare.

Agenții AI se chinuie să producă cercetări științifice originale. Ce rezultate au avut, mai exact?

După expirarea celor șase zile, cercetătorii umani au analizat lucrările redactate de AI și le-au evaluat după aceleași criterii aplicate articolelor trimise unei conferințe AI de top.

Rezultatele au fost slabe. Ambele lucrări au primit scoruri clare de respingere, de 2 din 6 și, respectiv, 1 din 6. Deși agenții au înțeles întrebările de cercetare și au propus unele direcții asemănătoare cu cele ale cercetătorilor umani, raționamentul lor științific a avut probleme majore.

Proiectarea experimentelor a fost slabă, iar agenții au gestionat prost rezultatele negative. În loc să își regândească experimentele, aceștia au adăugat adesea explicații și excepții la concluziile existente. De asemenea, și-au administrat ineficient timpul și au cheltuit mai puțin de jumătate din bugetul disponibil pentru utilizarea modelelor. Deși aveau suficient timp la dispoziție, au grăbit finalizarea lucrărilor, care au rămas mult sub nivelul necesar pentru publicare, scrie TechXplore.

La ce va putea fi totuși folosit AI-ul în laboratoare?

Evaluările cercetătorilor au fost extrem de critice. Unul dintre experți a descris experimentele și alegerile metodologice drept „bizare și greu de înțeles”, considerând că rezultatele par să provină din decizii luate după obținerea datelor. Un alt evaluator a subliniat că trecerea de la câteva rezultate nereușite la concluzia că nu există alte semnale utile reprezintă o generalizare nejustificată și profund neștiințifică.

Rezultatele reprezintă un semnal de alarmă în privința capacității actuale a AI-ului de a face cercetare științifică autonomă. Totuși, ele nu înseamnă că modelele nu își pot găsi un loc în laboratoare. În viitorul apropiat, este mai probabil ca acestea să funcționeze ca asistenți care preiau sarcini de rutină, decât să fie implicate direct în procesul de descoperire științifică.

Vă recomandăm să citiți și:

Un experiment cuantic neobișnuit demonstrează că „timpul negativ” nu este o simplă iluzie

Cum se conservă un creier uman vechi de 10.000 de ani, în timp ce restul corpului se descompune?

Personalitatea ta nu este atât de stabilă pe cât crezi: Iată cum te schimbi pe măsură ce îmbătrânești

Două studii au dezvăluit că oamenii și șoarecii au ceva foarte important în comun