Un gant conçu pour ressentir les objets dans le métavers

Tout en détournant l'attention de la tourmente dans laquelle s'est enfermé Facebook, Meta multiplie les annonces autour du metavers. La semaine dernière, Futura évoquait ReSkin, une peau artificielle capable de délivrer la sensation de toucher à une main robotisée, par exemple (lire ci-dessous). Toujours autour du sens du toucher, la branche Recherche & Développement de Meta va un peu plus loin avec un gant à retour haptique permettant de ressentir le monde virtuel et pas seulement du bout des doigts, mais avec toute la main.

Le prototype, dévoilé par Meta, vient nous projeter dans l'universunivers de Mad Max ou de Dune. Au lieu d'opter pour des centaines d'actuateurs énergivores et qui ont tendance à chauffer, les chercheurs ont trouvé une autre méthode. Ils utilisent des fluides pour pousser de l'airair à travers des petites poches afin de les gonfler et créer une pressionpression sur les doigts de la main ou la paume.

Pour le moment le prototype n'est pas encore abouti, mais Meta compte déjà ajouter dix fois plus de minuscules poches pour les obtenir des sensations proches de la réalité. Toutefois, en multipliant ces poches, la gestion de celles-ci par le système devient très complexe. C'est sur ce point que le labo de Meta bute encore.

Cette démo montre une série d'interactions virtuelles avec le prototype de recherche de gant haptique de Reality Labs — y compris la manipulation d'objets virtuels, tels que le lancement et la réception d'une balle virtuelle —, des interactions multijoueurs, telles que la guerre du pouce et une poignée de main, et les jeux multijoueur, tels que le Jenga virtuel. © Reality Labs (RL) Research, Meta

Retour haptique et capteur motoneurone

L'autre contrainte pour que ces gants puissent devenir des accessoires commercialisés est leur durabilitédurabilité. Pour le moment, comme on peut l'imaginer en le voyant, le prototype reste fragile et peu pratique avec leurs câbles.

Au niveau des usages, ces gants pourraient permettre d'avoir la sensation de taper sur un clavier virtuel, par exemple. Mais, pour que cet accessoire virtuel soit sollicité, il faut également que le gant puisse détecter cette intention de la part de son porteur. Pour cela, Meta compte utiliser des bracelets permettant de détecter les signaux de commande des mouvementsmouvements (motoneurone). C'est ainsi que les gestes pourraient être transformés en commandes. La combinaison de ce procédé avec le retour haptique, c'est ce que vise Meta, tout en sachant déjà que ces technologies n'aboutiront certainement que d'ici une dizaine d'années.

Meta : vers une peau électronique sensible pour toucher les objets dans le métavers ?

Article de Sylvain BigetSylvain Biget publié le 4 novembre 2021

Voici ReSkin, une peau artificielle capable de reproduire le sens du toucher. Mise au point par une université américaine, il s'agit d'un des nouveaux projets de recherche sur lequel s'est greffé FacebookFacebook/Meta afin de développer ses ambitions dans la réalité virtuelle et le métavers.

En robotique, de tous les sens, celui du toucher reste le plus difficile à reproduire. Saisir des éléments fragiles, comme un raisinraisin, sans les écraser reste une prouesse à accomplir pour une main robotisée. Pour parvenir à reproduire ce sens, Facebook AI/Meta s'est lancé dans un partenariat avec l'Université Carnegie Mellon aux États-Unis.

C'est à cet endroit que les chercheurs ont mis au point un prototype de peau électronique tactile, appelé ReSkin. Une peau qui pourrait être appliquée sur des mains robotisées, des prothèsesprothèses ou encore des gants « connectés ». Avec l'ambition du métavers de Meta, ce serait plutôt du côté des applicationsapplications de réalité virtuelle que ce matériaumatériau pourrait être employé. Il permettrait, par exemple, à une personne de sentir ce qu'une autre personne touche.

ReSkin est constitué d'une membrane élastomèreélastomère extensible et flexible de 2 à 3 mm d'épaisseur. La peau intègre également des microparticules magnétiques. Lorsque cette membrane se déforme en touchant une surface, l'espacement entre les microparticules se modifie. Le champ magnétiquechamp magnétique de la peau change et ces variations sont relevées par un minuscule magnétomètremagnétomètre. 

Durable, simple et bon marché

Le reste se fait de façon logicielle avec des algorithmes qui permettent de déterminer la pression à exercer, ainsi que la localisation précise du contact sur la membrane. Lors des différents tests menés par les scientifiques, ReSkin a pu montrer une précision de 90 % dans ses interactions avec des surfaces. Sa sensibilité de contact est précise puisqu'elle est de l'ordre de 1 mm.

Mise au point d'un prototype de peau électronique tactile, appelé ReSkin, applicable sur des mains robotisées, des prothèses ou encore des gants « connectés » pour les applications de réalité virtuelle. © Meta AI, Twitter

Lors des tests, la peau a été utilisée pour reproduire et mesurer les niveaux de pressions de plusieurs manipulations, telles que lancer ou attraper un objet, glisser sur une surface, ou encore applaudir. À l'issue des essais, les chercheurs ont pu constater qu'en bonus le matériau s'est avéré suffisamment durable pour rester fonctionnel après plus de 50.000 interactions. Autre atout : comme ReSkin ne dispose pas de composant électronique, elle est peu coûteuse et facile à remplacer. La peau peut être changée très simplement en cas de détérioration, sans nécessiter de réglages ni de calibrages particuliers.