Des chercheurs de chez Facebook viennent de présenter un clavier virtuel basé sur le suivi des mains grâce aux caméras intégrées dans un casque de réalité virtuelle. Il ne nécessite aucun périphérique supplémentaire, et peut être utilisé sur toute surface plane.

au sommaire

    Les casques de réalité virtuelle OculusOculus Quest et Quest 2, qui vient de sortir, proposent une fonction expérimentale de suivi des mains (hand tracking) très pratique pour manipuler certains objets ou naviguer dans des menus sans manette. En utilisant les caméras externes, le casque est capable d'identifier les mains et de suivre le mouvementmouvement. Toutefois, les gestes sont limités, et le suivi un peu capricieux.

    Visiblement FacebookFacebook, dont Oculus est une filiale, travaille toujours sur cette fonction. Dans un article présenté à la conférence UIST 2020, des chercheurs de Facebook Reality Labs ont dévoilé leurs travaux sur une nouvelle technique de suivi des mains suffisamment précise pour écrire sur un clavier virtuel.

     

    L’utilisation d’un clavier virtuel nécessite pour l’instant de porter des gants avec des marqueurs. © ACM SIGCHI

    Une frappe aussi rapide que sur un clavier physique

    La technique permet d'écrire sur une surface plane, sans clavier physiquephysique ni entrée tactile. Le système utilise les caméras d'un casque et un réseau neuronal convolutif temporel pour représenter le mouvement des mains. Il intègre un modèle de langage et un algorithme de recherche en faisceau pour compenser les erreurs de suivi, mais aussi les erreurs de placement des mains. Sans la sensation tactile des touches, les mains des utilisateurs ont tendance à dériver légèrement. Pour améliorer la détection des doigts, les utilisateurs ont dû porter des gants avec des marqueurs.

    Les résultats sont très prometteurs, avec une vitessevitesse de frappe de 73 mots par minute, équivalente à celle obtenue avec un clavier physique. Les chercheurs ont toutefois encore du travail, car le clavier virtuel est pour l'instant limité aux minuscules et fonctionne mal avec tout mot qui n'est pas dans le dictionnaire. De plus, le système a dû être calibré pour chaque utilisateur, nécessitant à chaque fois d'enregistrer plus d'une heure de saisie sur un clavier physique. Leur système de suivi est également beaucoup plus précis que celui présent sur les casques comme le Quest. Toutefois, cette technologie pourrait à terme permettre d'utiliser les casques de réalité virtuelle ou augmentée pour travailler n'importe où.