Grâce à un simple smartphone, des chercheurs de l’université Carnegie-Mellon ont modélisé un visage en 3D avec une précision d’une fraction de millimètre. Cette technique pourrait être utilisée pour créer des avatars virtuels, ou être adaptée aux objets pour créer des copies imprimées en 3D.

au sommaire

    Les méthodes actuelles pour créer une représentation en trois dimensions du visage d'une personne nécessitent généralement de nombreuses caméras et lumièreslumières. Des chercheurs de l’université Carnegie-Mellon aux États-Unis sont parvenus à réaliser une modélisationmodélisation 3D avec un simple smartphone. Ils ont ainsi obtenu un résultat plus précis qu'avec les techniques classiques.

    Pour créer une copie virtuelle du visage, l'équipe a filmé 15 à 20 secondes de vidéo du visage en utilisant le mode ralenti de l'iPhone X. Le visage est alors transformé en un nuagenuage de points en 3D avec la technique de localisation et cartographie simultanées (SLAM). Le nombre d'images par seconde très élevé du mode ralenti leur a permis d'obtenir un nuage de points très dense.

    Une méthode entièrement réalisable avec un smartphone

    La seconde étape du processus consiste à utiliser l’apprentissage profond (deep learning) de manière limitée pour déterminer les marqueurs du visage, comme les yeuxyeux, le neznez et les oreilles. Ils ont pu ensuite appliquer les méthodes classiques de vision numérique pour compléter la représentation 3D. Le modèle ainsi obtenu est précis à moins d'un millimètre.

    Le processus entier peut être effectué sur un smartphone mais nécessite de l'ordre de 30 à 40 minutes. Les chercheurs imaginent utiliser cette technique pour créer des avatars virtuels pour les jeux ou la réalité augmentée, mais également pour l'identification biométrique ou des procédures médicales. Appliquée à des objets, elle permettrait par exemple d'en créer une copie avec une imprimante 3D.