au sommaire
Le mont Fuji, peint à la voix... © S. HaradaU. of Washington
« OOO » pour aller à droite, « OU » pour descendre, « AAA » pour monter, « IIII » pour partir à gauche et quatre sons intermédiaires pour les directions obliques. Grâce à ce principe simple, les équipes du laboratoire AIM (Accessibility, interaction and mobility) et du groupe DUB (spécialisé dans l'interface homme-ordinateur), au Centre médical de l'université de Washington, donnent à une personne handicapée le moyen de diriger un pointeur sur l'écran d'un ordinateur et donc d'utiliser n'importe quel logiciel.
Le système, baptisé Vocal Joystick, est désormais complet et une dizaine de patients, dont une personne tétraplégiquetétraplégique, ont pu apprendre facilement à manipuler un logiciel et même un robot. Le premier élément du dispositif, qui constitue sa grande originalité, est une reconnaissance acoustique. L'appareil analyse donc des sons en continu et pas des mots. Il échantillonne le signal sonore par tranches de 10 millisecondes pour en déterminer la fréquence et même l'énergieénergie produite. Le logiciel (écrit en C++ et tournant sur un ordinateur personnel) détermine la voyelle prononcée et peut suivre des sons continus ou discrets. La personne peut ainsi, par exemple, émettre un son guttural pour obtenir l'équivalent d'un clic de souris.
Diagramme utilisé lors de l'apprentissage, indiquant à l'utilisateur à quels sons correspondent les huit déplacements possibles. © U. of Washington
Apprentissage pour l'homme et pour l'ordinateur
Dans un premier temps, le joystick vocal doit s'adapter à la voix de son interlocuteur durant une phase d'apprentissage, faisant appel notamment à la technique des réseaux neuronaux. De son côté, l'utilisateur, qui doit lui s'habituer à ce procédé inhabituel, peut faire fonctionner le système en mode à 4 mouvementsmouvements (haut, bas, gauche, droite) plutôt qu'en 8.
La voix peut commander un robot aussi facilement qu'un pointeur sur un écran. © U. of Washington
Les chercheurs estiment avoir démontré que ce principe permet d'atteindre une précision équivalente à celle d'un joystick véritable ou d'une souris. Susumu Harada, un étudiant membre de l'équipe dirigée par Jacob Wobbrock, a mis au point un logiciel de dessin, baptisé VoiceDraw, avec lequel il a peint... le mont Fujimont Fuji, en deux heures et demie précise-t-il dans la publication, disponible en PDF (voir les liens en bas de l'article).
Le joystick vocal a également été testé pour la commande de robots, comme le montrent les vidéos disponibles, permettant d'imaginer d'innombrables applicationsapplications pour les personnes handicapées voire, également, en robotique.
