Videoclipurile deepfake pot fi identificate cu o precizie de 99% cu ajutorul unei noi metode

Informaticienii de la UC Riverside pot detecta expresiile faciale manipulate din videoclipurile deepfake cu o acuratețe mai mare decât metodele actuale de ultimă generație.

Metoda funcționează la fel ca metodele actuale în cazurile în care identitatea facială, dar nu și expresia, a fost schimbată, ceea ce duce la o abordare generalizată pentru a detecta orice fel de manipulare facială. Realizarea îi aduce pe cercetători cu un pas mai aproape de dezvoltarea instrumentelor automate care pot detecta videoclipurile deepfake ce conțin propagandă sau dezinformare.

• De ce o pagină de pe Wikipedia a fost blocată pentru editare
• Test de cultură generală. Ce este mai mare decât un terabyte?

Dezvoltarea programelor de editare video a făcut mai ușoară schimbarea chipului unei persoane cu al alteia și modificarea expresiilor faciale originale.

Pe măsură ce indivizii și conducătorii rău-voitori folosesc videoclipuri manipulate pentru a influența opiniile politice sau sociale, abilitatea de a identifica aceste videoclipuri este considerată de mulți esențială pentru protejarea democrațiilor libere.

Videoclipurile deepfake au devenit mai ușor de identificat

Există metode care pot detecta cu o acuratețe rezonabilă fețele care au fost schimbate. Dar identificarea fețelor la care au fost schimbate doar expresiile este mai dificilă și până în prezent nu există nicio tehnică de încredere, scrie Tech Xplore.

„Ceea ce face ca zona de cercetare deepfake să fie mai dificilă este competiția dintre crearea, detectarea și prevenirea deepfake-urilor, care va deveni din ce în ce mai acerbă pe viitor. Cu mai multe progrese în modelele generative, deepfake-urile vor fi mai ușor de sintetizat și mai greu de distins de cele reale”, a spus Amit Roy-Chowdhury, profesor de inginerie electrică și informatică la Colegiul Bourns.

Metoda celor de la UC Riverside împarte sarcina în două componente într-o rețea neuronală profundă. Prima ramură discerne expresiile faciale și furnizează informații despre regiunile care conțin expresiile (cum ar fi gura, ochii sau fruntea) către o a doua ramură, cunoscută sub numele de codificator-decodor. Arhitectura codificator-decodorului este responsabilă pentru detectarea și localizarea manipulării.

Algoritmul, numit Expression Manipulation Detection sau EMD, poate detecta și localiza regiunile specifice care au fost modificate la o imagine.

„Învățarea cu sarcini multiple poate valorifica caracteristicile proeminente învățate de sistemele de recunoaștere a expresiilor faciale pentru a beneficia de formarea sistemelor convenționale de detectare a manipulării. O astfel de abordare realizează performanțe impresionante în detectarea manipulării expresiilor faciale”, a spus doctorandul Ghazal Mazaheri, care a condus cercetarea.

Precizie de 99%

Seturile de date de referință pentru manipularea facială se bazează pe schimbul de expresii și pe cel de identitate. În primul se transferă expresiile unui videoclip sursă pe un videoclip țintă fără a schimba identitatea persoanei din videoclipul țintă. Celălalt schimbă identitățile din videoclip.

Experimentele pe două seturi de date privind manipularea facială arată că EMD are performanțe mai bune în detectarea nu numai a manipulărilor expresiilor faciale, ci și a schimburilor de identitate. EMD a detectat cu acuratețe 99% dintre videoclipurile deepfake.

Studiul apare în baza de date ArXiv.

Vă recomandăm să citiți și:

Scrolling-ul la nesfârșit. Ce efecte are asupra creierului și care este remediul?

Reciclarea smartphone-urilor a progresat, dar mai sunt multe aspecte de rezolvat

Starlink, serviciul de internet prin satelit al lui Elon Musk, a fost autorizat în România

Compania românească Metagame, achiziționată de Fortis