Desenvolupen una tecnologia per reconstruir caps en 3D amb alta precisió a partir de tres imatges
Reconstrucció del cap amb alta precisió a partir de només 3 imatges, assumint màscares i posicions de càmeres conegudes
Deep Learning Barcelona Symposium
El Deep Learning Barcelona Symposium (DLBCN) 2021, que s'ha dut a terme el 22 i 23 de desembre a l'edifici Vèrtex de la UPC, ha reunit investigadors i investigadores de diverses disciplines relacionades amb l'aprenentatge profund. El simposi ha acollit 32 xerrades i 41 sessions de laboratoris de recerca del país, universitats com l'Stanford University, el Massachusetts Institute of Technology (MIT) o la Columbia University, i empreses com Meta, Amazon, NVidia o ElementAI.
Entre els ponents, destaca la presència de Joan Bruna, professor de la New York University i co-autor de 'Geometric Deep Learning', un dels llibres amb més impacte en aquest camp. El simposi inclourà també xerrades d'altres investigadors destacats, com ara Elisenda Bou, alumni UPC i cofundadora de la start-up Vilynx, i Joan Serrà, pioner en l’aplicació de les xarxes neuronals en el processament d’àudio des del laboratori de recerca que Dolby té a Barcelona.
L’aprenentatge profund és un dels motors de l’actual revolució tecnològica al voltant de la Intel·ligència Artificial, que s’ha implantat en gairebé tots els camps audiovisuals, com el reconeixement de la parla dels assistents virtuals o els organitzadors d’arxius fotogràfics. La tendència s’ha estès al camp de les ciències de la vida, amb aplicacions per al desenvolupament de nous fàrmacs o el suport al diagnòstic mèdic. En aquest context, el simposi inclou enguany una sessió per donar a conèixer aplicacions d'aquesta tecnologia a la genòmica, la nutrició, la detecció de la COVID-19 a partir de la tos o la imatge mèdica.
A més de la UPC, han coorganitzat el simposi la Universitat de Barcelona, la Universitat Pompeu Fabra, la Universitat Oberta de Catalunya, l'IRI, el Centre de Visió per Computador, Telefònica i Dolby Laboratories.
Investigadors de la UPC, l'IRI i l'empresa Crisalix han creat un sistema basat en les xarxes neuronals profundes, que permet reconstruir caps humans en 3D a partir de tan sols tres fotografies, i que ajuda a planificar millor les intervencions de cirurgia estètica i reconstructiva. L'article científic on es defineix el mètode ha estat acceptat a l'International Conference on Computer Vision d'enguany i s'ha presentat al Deep Learning Barcelona Symposium 2021, el 22 de desembre.
23/12/2021
Disposar de models precisos del cap en 3D és fonamental en el plantejament d'una cirurgia estètica o reconstructiva, ja que ajuda a planificar millor la intervenció: els pacients poden valorar els efectes de la cirurgia abans d'entrar al quiròfan, i els cirurgians poden anar introduint modificacions fins a ajustar-se al resultat desitjat. Fins ara, aquests models s'obtenien a partir d'imatges d'escàner que l'equip mèdic pren del cap del pacient a través d'un sensor de profunditat, una tècnica que obliga a la presencialitat i que, amb el confinament derivat de la pandèmia per COVID-19, ha suposat un impediment en la programació d'aquest tipus d'intervencions.
Ara, investigadors de Crisalix, la Universitat Politècnica de Catalunya · BarcelonaTech (UPC) i l'Institut de Robòtica i Informàtica Industrial (IRI) —centre mixt del Consell Superior d’Investigacions Científiques (CSIC) i la UPC— presenten un sistema que permet reconstruir caps humans en 3D amb gran precisió a partir de només tres imatges. La tecnologia, coneguda com a H3D-Net, ha estat desenvolupada per l'investigador Eduard Ramon —en el marc del doctorat industrial que du a terme a l'empresa Crisalix—, amb l'assessorament dels professors de la UPC i l'IRI Xavier Giró i Francesc Moreno.
Segons explica Eduard Ramon, “la clau d’aquesta tecnologia és l’ús d’una representació 3D anomenada 'superfície implícita', que permet expressar formes molt més complexes que les representacions utilitzades fins ara. Aquest tipus de representació, combinada amb una xarxa neuronal profunda entrenada amb milers de casos, és el que permet obtenir reconstruccions 3D molt precises i robustes a partir de poques imatges".
Tecnologia que ja s'aplica en intervencions mèdiques
Crisalix és una empresa de simulació estètica 3D, pionera en l’adopció i recerca d’aquestes tecnologies. Acull quatre doctorats industrials, tres d'ells en col·laboració amb la UPC i l’IRI. Justament, la maduresa del seu sistema va permetre que l’empresa pogués adaptar-se ràpidament als confinaments durant la pandèmia de COVID-19 i poder seguir oferint aquest servei, tal com explica l'investigador Xavier Giró, vinculat al Grup de Processament d'Imatge i Vídeo (GPI) de la UPC: "Els models 3D de la forma del cap han ajudat cirurgians plàstics i els seus pacients a planificar millor les seves intervencions en el context de la pandèmia, on no eren possibles les cites presencials. Així, el pacient es podia fer les fotografies ell mateix i li enviava al cirurgià, que creava el model 3D del cap del pacient".
Giró avança altres aplicacions de l'eina més enllà del camp de la cirurgia estètica o reconstructiva, "com en el desenvolupament d'avatars virtuals per a la indústria de l'entreteniment o la venda de roba en línia".
Presentació al Deep Learning Barcelona Symposium
La tecnologia H3D-Net, presentada recentment a l'International Conference on Computer Vision, un dels esdeveniments més prestigiosos en l'àmbit de la visió per computador, s'ha presentat el 22 de desembre en el marc del Deep Learning Barcelona Symposium (DLBCN) 2021, a càrrec de l'investigador Eduard Ramon.
Més informació
- 'H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction' [Article científic relacionat]