Un equipo del IRI (CSIC-UPC) crea el primer sistema para reproducir todas las expresiones faciales y de manera continua a partir de una sola imagen
Investigadores del IRI (CSIC-UPC) han creado el primer sistema que logra reproducir, animar expresiones faciales y generar continuidad en el movimiento del rostro a partir de una sola imagen estática. Un avance premiado en la conferencia internacional ECCV 2018, la más importante en el ámbito de la visión por computador, y que abre las puertas a nuevas aplicaciones para la industria del cine y las tecnologías multimedia, la moda y el comercio electrónico, entre otras.
23/10/2018
El sistema se basa en las denominadas ‘unidades de acción’, elementos de la arquitectura de computación que describen los movimientos anatómicos faciales que definen una expresión humana con toda su complejidad y variaciones.
A partir de este planteamiento metodológico, los investigadores han logrado controlar la magnitud de la activación de cada ‘unidad de acción’ y generar expresiones nuevas al combinarlas. Los resultados permiten sintetizar un número infinito de expresiones faciales anatómicamente coherentes como nunca antes se había conseguido.
El proyecto parte de las técnicas más avanzadas para sintetizar la expresión facial, concretamente las denominadas GAN (por las siglas en inglés de Generative Adversarial Networks), que permiten, por ejemplo, generar un conjunto de imágenes de personas que comparten la misma expresión. Hasta el momento, estas técnicas sólo permiten reproducir un número limitado de expresiones, determinado por el contenido del conjunto de datos.
El sistema desarrollado por el IRI no sólo permite crear nuevas expresiones a partir de una sola imagen, sino que propone una estrategia no supervisada sobre el tipo de imágenes que se generan. Es decir, permite que, por primera vez, el sistema aprenda de imágenes no optimizadas o retocadas y que, por ejemplo, tengan un fondo cambiante o estén mal iluminadas, tal y como se encuentran en los entornos reales.
Los investigadores consideran que esta estrategia ayuda al sistema a sintetizar un abanico más amplio de las expresiones faciales causadas por movimientos musculares anatómicamente factibles, a la vez que le dota de la capacidad de abordar imágenes en estado natural.
La implementación de este sistema abre la puerta a nuevas aplicaciones en sectores tan dinámicos como la industria del cine, las tecnologías fotográficas y multimedia, la moda o el comercio electrónico.
Los resultados de esta investigación se recogen en el artículo GANimation: Anatomically-aware Facial Animation from a Single Image (GANimation: Animación facial anatómica desde una sola imagen), distinguido como el Best Paper Award Honorable Mention en la European Conference on Computer Vision (ECCV 2018), el encuentro más importante del sector de la visión por computador. Celebrada el pasado septiembre en Múnich, Alemania, la ECCV congrega, cada dos años, a representantes de compañías como Google, Facebook, Microsoft o Amazon, así como a académicos de prestigio internacional de universidades de todo el mundo.
La publicación científica que recoge este avance ha sido fruto de la colaboración con el investigador Aleix Martinez, que visitó el IRI en el marco del Programa de Visitas de Excelencia María de Maeztu.
Actualmente, el IRI es el único centro de investigación en el área de la robótica que cuenta con el sello de excelencia científica María de Maeztu, otorgado por la Agencia Estatal de Investigación.
Más información: