Apple a déposé un brevet décrivant ce qui pourrait être son prochain stylet Pencil, capable de fonctionner sans contact avec la moindre surface solide, mais aussi sur du papier ordinaire.
au sommaire
Actuellement, le stylet Apple Pencil ne fonctionne qu'avec la tablette tactile iPadtablette tactile iPad Pro de la marque à la pomme. Mais il pourrait bien occuper une place beaucoup plus importante dans l'écosystèmeécosystème Apple si le brevet déniché par le site néerlandais Techtastic débouche sur quelque chose de concret.
En effet, il s'avère que le géant californien a inventé un stylet capable de détecter les mouvementsmouvements sans contact physiquephysique avec une surface. Autrement dit, on pourrait écrire ou dessiner devant soi, dans le vide. Dans le document déposé auprès de l'OMPI (Organisation mondiale de la propriété intellectuelle), Apple explique que son stylet pourrait fonctionner sur n'importe quelle surface contre laquelle il est pressé, y compris sur du papier ordinaire.
Travailler sur des objets en 3D
La fonction de airair writing ou écriture dans le vide, quant à elle, serait rendue possible par des caméras ou des capteurscapteurs insérés dans l'écran d'un ordinateur portable ou de bureau. Outre des caméras, Apple évoque d'autres techniques de triangulationtriangulation de la position du stylet qui pourraient s'appuyer sur l'acoustique, l'électromagnétique, une « surface encodée » ou des capteurs de mouvements et d'orientation.
Si l'intérêt de la manipulation dans le vide peut paraître obscure, cela pourrait prendre sens pour des applicationsapplications de dessin et de design industriel, notamment pour travailler sur des objets en 3D et des croquis en 2D. L'écriture manuscrite semble moins intéressante, sauf peut-être pour annoter des documents sur un écran de grande taille. Un tel stylet pourrait en revanche prendre tout son sens avec des applications de réalité virtuelle ou augmentée.
Un gant capable de reconnaître l’écriture tracée dans le vide
Article initial de Marc ZaffagniMarc Zaffagni, paru le 9/01/2013
Équipé d'un gyroscope et d'un accéléromètre, un gant mis au point par des chercheurs de l'Institut de technologie de Karlsruhe reconnaît des phrases écrites dans le vide. Le système est encore perfectible mais pourrait déboucher sur des applications originales.
Après l'air guitar, bientôt l'air writing ? Rédiger un textotexto ou un courriel dans le vide et voir les mots apparaître sur l'écran de son ordinateur, de sa tablette ou de son smartphone, voilà ce que l'on pourrait faire dans un avenir pas si lointain grâce aux vêtements intelligents. L'équipe du laboratoire des systèmes cognitifs de l'Institut de technologie de Karlsruhe (Allemagne) a développé un prototype de gant qui peut reconnaître des mots tracés dans le vide comme sur un tableau imaginaire, un procédé qu'ils nomment air writing.
L'algorithme développé décode en temps réel les gestes d'une personne et peut distinguer l'écriture, favorisant ainsi une utilisation intuitive. Le gant lui-même est une mitaine classique en tissu sur le dosdos de laquelle est installé un module contenant un accéléromètre et un gyroscope. Le module est relié à une petite carte mère comprenant un microcontrôleur, un module Bluetooth pour transmettre les informations à un ordinateur et une batterie. L'ensemble n'est pas très ergonomique, mais il s'agit pour le moment d'un prototype destiné à valider la technologie.
Près de 8.000 mots reconnus en air writing
Le système peut reconnaître 8.000 mots différents et des phrases composées de deux à six mots. L'analyse s'effectue en deux temps. Il faut d'abord détailler les mouvements de la main pour détecter ce qui relève de l'écriture. Pour cela, les chercheurs recourent aux séparateurs à vaste marge (ou support vector machines), qui sont des algorithmes de classement statistique qui répartissent des échantillons dans des groupes aux propriétés similaires. Vient ensuite la reconnaissance des lettres et des mots pour laquelle est appliqué un modèle de Markov caché (ou hidden Markov model, modèle statistique couramment utilisé pour la reconnaissance des formes, l'analyse du langage naturel ou encore l’intelligence artificielle), combiné avec un modèle de langage. « Bien que notre système soit centré sur la reconnaissance de texte dans une chaîne de gestes continus, il peut servir de système de référence pour n'importe quel procédé de reconnaissance des gestes construit sur un alphabet ou des signes », soulignent les chercheurs.
L’air writing reconnaît mal l’écriture naturelle
Ces derniers ont réalisé des tests avec neuf volontaires auxquels ils ont demandé de rédiger 80 phrases en anglais en respectant deux conditions : utiliser l'écriture en caractères bâton, et former des lettres de 20 centimètres de hauteur sans bouger le poignet. Le taux d'erreur varie entre 3 % et 11 % selon les testeurs, ce qui indique que le système est pour l'instant encore très sensible à la façon d'écrire, variable d'une personne à l'autre. Comme pour la prise en charge du langage naturel par les systèmes de reconnaissance vocale, la prise en compte de l'écriture propre à chaque individu est un défi encore loin d'être relevé.
Néanmoins, pour les auteurs de cet essai, la grande avancée réside à la fois dans la base de données de 8.000 mots qui sont reconnus et l'analyse en temps réel des mouvements avec la capacité de distinguer un geste correspondant à l'écriture. Pour les chercheurs, « les gestes favorisent de nouvelles formes d'interface utilisateur qui peuvent s'avérer particulièrement adaptées pour l'informatique mobile et les vêtements intelligents ». D'autant que les chercheurs affirment qu'il est tout à fait possible de miniaturiser la partie matérielle installée sur le gant en intégrant tous les composants dans un bracelet.
