Et si Google avait inventé le « fond vert » du futur ? Des ingénieurs de la firme, spécialisés dans l'intelligence artificielle, ont réussi à créer un procédé pour capturer l'image d'une personne en 3D pour ensuite l'intégrer dans n'importe quelle vidéo. Grâce à un système de LED, la qualité de la lumière et les ombres adaptent le sujet à son nouveau décor.
au sommaire
Filmer des acteurs en 3D pour les intégrer ensuite dans des scènes pose de nombreux défis techniques. Contrairement à un personnage de synthèse, l'image capturée d'une personne réelle est difficilement modifiable. L'un des principaux défauts de la capture volumétrique se situe au niveau de la lumièrelumière. L'angle, l'intensité et la qualité de la lumière utilisée pendant la capture ne correspondra pas à celle de la scène dans laquelle le modèle sera ajouté.
Dans un projet baptisé The Relightables, une équipe de chercheurs a trouvé une solution sous la forme d'un énorme dôme rempli de lumières LED. En variant ces lumières selon un motif prédéfini, ils ont été capables de générer un modèle en trois dimensions dont il est possible de changer l'éclairage pour se conformer à n'importe quelle scène.
Cette innovation pourrait révolutionner le cinéma, comme l'a fait le fond vert en son temps. © Google
Un flux de données de 65 Go à la seconde
Le dôme est équipé d'un total de 90 caméras de 12,4 mégapixels fonctionnant à 60 hertzhertz, dont 58 caméras RGB et 32 caméras infrarougesinfrarouges, afin de capturer le sujet sous tous les angles pour générer le modèle 3D. Les sujets sont accompagnés par 331 lumières, chacune composée de 63 diodes LEDLED, synchronisées avec les caméras. Avec tous ces flux vidéo, le système produit un total impressionnant de 65 Go de données à la seconde. C'est comme si on remplissait la mémoire de l'iPhone 11 à chaque seconde...
Les lumières alternent deux motifs d'éclairage, un gradientgradient et un gradient inversé, ce qui permet de capturer le sujet presque simultanément sous deux éclairages différents. Les chercheurs s'appuient ensuite sur l'intelligence artificielle pour générer une vidéo volumétrique à partir des 90 flux vidéo et combiner les deux éclairages afin de créer un modèle dont il sera possible de modifier l'éclairage à la volée.
Cette bulle composée de lumières LED permet d'éclairer le sujet de deux manières différentes, et c'est l'intelligence artificielle qui s'occupe du reste. © Google
