Une équipe de chercheurs du Massachusetts Institute of Technology a mis au point une technique destinée à la réalité augmentée qui permet de toucher les objets réels présents dans une vidéo. Tout cela se fait avec une simple caméra et des algorithmes et cette curieuse fonctionnalité est applicable sur n'importe quelle vidéo. En outre, ce système serait particulièrement bien adapté pour rendre le jeu Pokémon Go encore plus vivant.

au sommaire

    Oubliez la 3D : il sera bientôt possible de faire bouger des objets visibles à l'écran en les touchant. Des chercheurs du laboratoire dédié à l'informatique et à l'intelligence artificielle (CSAIL) du MIT disent avoir mis au point un moyen de « toucher » les objets qui apparaissent à l'écran.

    La Vidéo dynamique interactive (Interactive Dynamic Video ou IDV) est révolutionnaire dans la mesure où elle s'appuie sur des algorithmes et une technologie vidéo déjà existante - et non sur un équipement de pointe très coûteux. Les chercheurs ont obtenu des résultats à partir de simples vidéos YouTubeYouTube. Ils indiquent également que leur technologie pourrait faire des merveilles avec le jeu de réalité augmentée Pokémon Go, en permettant aux créatures d'interagir plus étroitement avec le monde physiquephysique. Par exemple, au lieu de flotter au-dessus d'un buisson, un Pikachu pourrait bondir dessus et faisant bouger ses branches (voir cette vidéo YouTube). « Cette technique permet de capturer le comportement physique des objets, ce qui offre la possibilité de les manipuler dans un espace virtuel », explique le doctorant au CSAIL Abe Davis.

    Actuellement, les personnages de Pokémon Go apparaissent flottants dans le décor réel. Grâce à la technique développée par le MIT, ce Pikachu pourrait bondir sur le buisson et l’agiter de façon réaliste. © MIT CSAIL, Abe Davis, YouTube

    Actuellement, les personnages de Pokémon Go apparaissent flottants dans le décor réel. Grâce à la technique développée par le MIT, ce Pikachu pourrait bondir sur le buisson et l’agiter de façon réaliste. © MIT CSAIL, Abe Davis, YouTube

    Les images émettent des vibrations quasi-invisibles

    Comment ? Davis révèle la totalité des découvertes de son équipe dans un article complet intitulé Image-Space Modal Bases for Plausible Manipulation of Objects in Video. Pour en comprendre le principe, prenons l'exemple d'une vidéo de chat : les images contiennent des indices quant à la manière dont le chat se comporterait dans des circonstances autres que celles montrées dans la vidéo. On peut identifier et exploiter ces indices grâce au bon algorithme.

    Les images en mouvementmouvement émettent des vibrationsvibrations quasi-invisibles. L'algorithme des chercheurs peut capter ces minuscules mouvements et utiliser cette information pour prédire comment l'objet se comporterait dans d'autres circonstances. Cinq secondes de vidéo suffisent à l'IDV pour fonctionner. On peut ainsi créer une simulation de mouvement avec laquelle l'utilisateur peut interagir.

    Aujourd'hui, il est nécessaire de cliquer ou de déplacer un curseur pour faire bouger des objets à l'écran. Mais en associant l'IDV à un casque de réalité virtuelle ou à la capture de mouvement (de type Kinect de MicrosoftMicrosoft), on pourrait permettre aux spectateurs de tendre le bras et de faire bouger des objets à l'écran en les touchant. Par ailleurs, l'IDV permet d'envisager des expérimentations dans un environnement virtuel sûr, sans altération du monde réel.