Un equip de l'IRI (CSIC-UPC) crea el primer sistema per reproduir totes les expressions facials i de manera contínua a partir d'una sola imatge
La imatge amb el requadre en verd és la imatge estàtica des de la qual es parteix. La resta d'imatges successives són aquelles que s'aconsegueixen després de l'aplicació del codi del sistema
Comparació qualitativa respecte a altres sistemes. Síntesis d’expressions facials i resultats en DIAT, CycleGAN, IcGAN i StarGAN. En la darrera fila, els resultats amb els sistema creat pels investigadors de l’IRI.
Investigadors de l'IRI (CSIC-UPC) han creat el primer sistema que aconsegueix reproduir, animar expressions facials i generar continuïtat en el moviment de la cara a partir d'una sola imatge estàtica. Un avenç premiat a la conferència internacional ECCV 2018, la més important en l'àmbit de la visió per computador, i que obre les portes a noves aplicacions per a la indústria del cinema i les tecnologies multimèdia, la moda i el comerç electrònic, entre d'altres.
23/10/2018
El sistema es basa en les anomenades 'unitats d'acció', elements de l'arquitectura de computació que descriuen els moviments anatòmics facials que defineixen una expressió humana amb tota la seva complexitat i variacions.
A partir d'aquest plantejament metodològic, els investigadors han aconseguit controlar la magnitud de l'activació de cada 'unitat d'acció' i generar expressions noves al combinar-les. Els resultats permeten sintetitzar un nombre infinit d'expressions facials anatòmicament coherents com mai abans s'havia aconseguit.
El projecte parteix de les tècniques més avançades per sintetitzar l'expressió facial, concretament les anomenades GAN (per les sigles en anglès de Generative Adversarial Networks), que permeten, per exemple, generar un conjunt d'imatges de persones que comparteixen la mateixa expressió. Fins al moment, aquestes tècniques només permeten reproduir un nombre limitat d'expressions, determinat pel contingut del conjunt de dades.
El sistema desenvolupat per l'IRI no només permet crear noves expressions a partir d'una sola imatge, sinó que proposa una estratègia no supervisada sobre el tipus d'imatges que es generen. És a dir, permet que, per primera vegada, el sistema aprengui d'imatges no optimitzades o retocades i que, per exemple, tinguin un fons canviant o estiguin mal il·luminades, tal com es troben en els entorns reals.
Els investigadors consideren que aquesta estratègia ajuda el sistema a sintetitzar un ventall més ampli de les expressions facials causades per moviments musculars anatòmicament factibles, alhora que el dota de la capacitat d'abordar imatges en estat natural.
La implementació d'aquest sistema obre la porta a noves aplicacions en sectors tan dinàmics com la indústria del cinema, les tecnologies fotogràfiques i multimèdia, la moda o el comerç electrònic.
Distinció internacional
Els resultats d'aquesta investigació es recullen en l'article GANimation: Anatomically-aware Facial Animation from a Single Image (GANimation: Animació facial anatòmica des d'una sola imatge), distingit com el Best Paper Award Honorable Mention a l'European Conference on Computer Vision (ECCV 2018), la trobada més important del sector de la visió per computador. Celebrada el passat setembre a Munic, Alemanya, l’ECCV congrega, cada dos anys, a representants de companyies com Google, Facebook, Microsoft o Amazon, així com a acadèmics de prestigi internacional d'universitats de tot el món.
La publicació científica que recull aquest avenç ha estat fruit de la col·laboració amb l'investigador Aleix Martinez, que va visitar l'IRI en el marc del Programa de Visites d'Excel·lència Maria de Maeztu.
Actualment, l'IRI és l'únic centre de recerca en l'àrea de la robòtica que compta amb el segell d'excel·lència científica María de Maeztu, atorgat per l'Agència Estatal d'Investigació.
Més informació: