A fost dezvoltată Inteligența Artificială care înțelege lumina din fotografii

Deși au fost realizate progrese semnificative în dezvoltarea sistemelor de Inteligență Artificială (AI) care pot înțelege lumea fizică la fel ca oamenii, cercetătorii s-au confruntat cu dificultăți în modelarea unui anumit aspect al sistemului nostru vizual: percepția luminii. AI-ul care înțelege lumina din fotografii vine să depășească acest obstacol.

„Stabilirea influenței luminii într-o fotografie este ca și cum ai încerca să separi ingredientele dintr-o prăjitură deja coaptă”, explica Chris Careaga, doctorand la Laboratorul de Fotografie Computațională din cadrul Simon Fraser University (SFU, din Canada). Această sarcină implică anularea interacțiunilor complexe dintre lumină și suprafețe într-o scenă. Problema este cunoscută sub denumirea de descompunere intrinsecă și a fost studiată de aproape jumătate de secol.

• Oamenii de știință s-au înșelat! Cât de mult contează genele cu adevărat?
• O gaură neagră s-a trezit după 100 de milioane de ani și a erupt ca un…

Într-un nou studiu publicat în ACM Transactions on Graphics, cercetătorii de la Laboratorul de Fotografie Computațională dezvoltă o abordare AI pentru descompunerea intrinsecă, abordare care funcționează pe o gamă largă de imagini. Metoda lor separă automat o imagine în două straturi: unul doar cu efecte de iluminare și unul cu culorile reale ale obiectelor din scenă.

Rolul imens pe care l-ar putea avea AI-ul care înțelege lumina din fotografii

„Inovația principală din munca noastră este crearea unui sistem de rețele neurale care sunt responsabile individual cu probleme mai simple. Ele lucrează împreună pentru a înțelege iluminarea dintr-o fotografie”, adaugă Careaga.

Deși descompunerea intrinsecă a fost studiată de decenii, AI-ul care înțelege lumina din fotografii este primul din domeniu care realizează această sarcină pentru orice imagine HD pe care o persoană ar putea-o realiza cu aparatul său foto.

„Editând iluminarea și culorile separat, o întreagă gamă de aplicații rezervate pentru CGI și VFX devin posibile pentru editarea obișnuită a imaginilor”, spune dr. Yağız Aksoy, care conduce Laboratorul de Fotografie Computațională de la SFU.

„Această înțelegere fizică a luminii o face o unealtă prețioasă și accesibilă pentru creatorii de conținut, editorii de fotografii și artiștii de post-producție, precum și pentru noile tehnologii precum realitatea augmentată și calculul spațial”, continuă Aksoy.

Grupul și-a extins ulterior abordarea de descompunere intrinsecă aplicând-o la problema compunerii imaginilor. „Când introduci un obiect sau o persoană dintr-o imagine în alta, de obicei este evident că (imaginea) este editată deoarece iluminarea și culorile nu se potrivesc”, explica Careaga.

„Folosind tehnica noastră de descompunere intrinsecă, putem modifica iluminarea obiectului inserat pentru a-l face să pară mai realist în noua scenă”, adaugă el, citat de Tech Xplore.

Un ajutor pentru producțiile cinematografice cu buget redus

Pe lângă publicarea unui studiu despre acest subiect, prezentat la SIGGRAPH Asia în decembrie 2023, grupul a dezvoltat și o interfață de calculator care le permite utilizatorilor să editeze interactiv iluminarea acestor imagini „compuse”. S. Mahdi H. Miangoleh, doctorand în laboratorul lui Aksoy, a contribuit, de asemenea, la această lucrare.

Aksoy și echipa sa intenționează să extindă metodele lor la videoclipuri pentru utilizare în post-producția filmelor și să dezvolte mai departe capacitățile AI în ceea ce privește editarea interactivă a iluminării. Ei subliniază o abordare axată pe creativitate în producția de filme folosind AI, având ca scop promovarea producțiilor independente și cu buget redus.

Pentru a înțelege mai bine provocările din aceste medii de producție, grupul a dezvoltat un studio de fotografie computațională în campusul Universității Simon Fraser, unde desfășoară cercetări într-un mediu de producție activ.

Lucrarea de mai sus reprezintă câțiva dintre primii pași ai grupului pentru furnizarea de capabilități de editare controlate de Inteligența Artificială pentru industria de film din Columbia Britanică.

Concentrarea lor pe descompunerea intrinsecă le permite producțiilor cu buget redus să ajusteze ușor iluminarea, fără a necesita filmări suplimentare. Aceste inovații susțin creatorii de film locali, menținând poziția Columbiei Britanice ca centru global de producție cinematografică și vor servi drept fundație pentru multe alte aplicații activate de AI dezvoltate la Laboratorul de Fotografie Computațională din cadrul SFU.

Vă recomandăm să citiți și:

Computerele obișnuite încă le pot întrece pe cele cuantice. Iată cum!

Test de cultură generală. Ce este Inteligența Artificială?

De câtă energie este nevoie pentru generarea de imagini AI? Cantitatea este surprinzătoare!

Un start-up lucrează la tehnologia prin care să muncești în timp ce visezi