au sommaire
Debout dans le salon, les deux joueurs se tortillent, faisant penser au twist des sixties. Devant eux, sur l'écran du téléviseur, deux personnages, debout eux aussi, tentent de manœuvrer, façon planche de surf, un raft emporté par des rapides. Leurs mouvementsmouvements suivent à peu près exactement celui des joueurs. Bienvenue dans Kinect Adventures, le jeu fourni avec l'interface Kinect, ce petit boîtier à trois yeuxyeux qui, littéralement voit, reconnaît et écoute les humains autour de lui.
Ce jour-là, je suis l'un des deux joueurs et mon coéquipier est Alex Kipman, directeur de l'incubation (sic) pour la XBox et responsable du projet Kinect. Je lève le bras droit : mon avatar fait de même. Je me gratte la tête avec la main. Mon avatar se contente d'agiter la sienne comme pour un salut. Conclusion : le petit boîtier, là-bas, voit mon bras mais pas ma main. Mon personnage s'appelle Guest (invité) car Kinect ne m'avait jamais vu. Celui d'Alex Kipman, en revanche, porteporte son nom. À l'allumage du boîtier, l'appareil a en effet reconnu son maître à la forme de son visage.
Le jeu Kinect Adventures est fourni avec l'appareil. On se penche pour guider le raft et on saute pour récupérer les ballons. © Microsoft
Détection des visages et des silhouettes
Fouillant dans les vidéos personnelles liées à son profil (puisqu'il est reconnu par Kinect), Alex Kipman vient d'en lancer une. De la main, il l'arrête, commande le curseur pour le positionner plus loin et relancer le film. « Kinect, pause ! » s'exclame-t-il à haute et intelligible voix. Le lecteur vidéo obtempère : Kinect comprend quelques mots. Pour l'instant, il faut lui parler anglais. Début 2011, promis, Kinect comprendra le français.
Le jeu terminé, Alex commande de la main le retour à l'écran d'accueil, où s'affichent les fonctions disponibles, sous forme de grandes images. Pour en choisir une, il lève son bras et, sur l'écran, une main devient un pointeur. Pour sélectionner une commande, il suffit de rester positionné sur elle. Un cercle apparaît à cet endroit et une bande colorée progresse sur sa périphérie, comme un curseur mesurant le temps qui passe. Quand le tour est accompli, en une ou deux secondes, la commande est déclenchée : c'est le clic de Kinect.
Dans le salon, la famille s’amuse. © Xboxygen
L'effet est bluffant, mais il est vrai que ces technologies sont déjà connues. On sait par exemple depuis longtemps reconnaître des visages. « Mais non ! s'insurge Alex Kipman. Il a fallu tout réinventer ! La reconnaissance des visages de Kinect est tout à fait particulière. Ici les personnes sont placées d'une manière quelconque et éclairées en infrarougeinfrarouge. Kinect isole les visages et les formes du corps de l'environnement, plus éloigné, qui reflète beaucoup moins les infrarouges. Pour lui, le reste c'est du bruit. »
Pour mieux repérer les humains et leurs mouvements, au moment où il est allumé, le boîtier commence à observer la pièce. Fixé sur un petit pied, il est motorisé et peut ainsi balayer (de haut en bas) la scène autour de lui. Il mesure alors les dimensions de la pièce et montrera à l'écran les silhouettes qu'il a repérées, en affichant aussi, sous la forme d'un rectangle, la zone de jeu idéale. Les joueurs devront alors peut-être se rapprocher ou s'éloigner de l'écran, ce qui facilitera le suivi de leurs mouvements.
Le « senseur » de Kinect semble arborer trois yeux. Celui de gauche est en fait un émetteur infrarouge qui éclaire la pièce d’une lumière invisible à l’œil humain. Celui du milieu est une caméra et, à sa droite, cet œil-là est un capteur infrarouge construit en CMos. Il voit très mal et seulement en monochrome mais détermine les distances. Un objet renverra en effet plus ou moins d’infrarouge selon qu’il est loin ou près. « Pour lui, ce qui est blanc est proche ; ce qui est noir est à l’infini » résume Alex Kipman. Derrière, le logiciel de la XBox combinera l’image issue de la caméra avec celle de ce capteur pour déterminer les distances des formes repérées dans le champ. Le boîtier contient aussi deux microphones, à gauche et à droite. © Microsoft
Le logiciel doit aussi repérer les formes mobilesmobiles et distinguer les silhouettes humaines. Kinect permet de jouer à deux mais en repère jusqu'à six dans son champ visuelchamp visuel. Une fois les silhouettes repérées, le logiciel détermine les positions des articulationsarticulations importantes : cou, coudes, genoux. Il faut ensuite suivre les mouvements, ce qui exige un travail soutenu pour le processeur de la XBox 360 (un dérivé du PowerPC d'IBMIBM qui équipa un temps les Mac d'AppleApple mais qui contient trois cœurs). Le résultat est efficace, même si la détection des mouvements n'est pas complète. Le logiciel de jeu, en effet, prévient le système de suivi des mouvements ce que devrait faire le joueur. Ainsi, quand le raft de Kinect Adventures passe sous les ballons, Kinect se concentre sur le saut.
Bientôt dans les bureaux et les usines ?
Démarré en 2007, le projet Natal, devenu Kinect, se concrétise aujourd'hui par un produit abouti et qui fait évolué l'universunivers du jeu vidéo. Il s'inscrit dans la lignée de la WiiWii, qui a sorti la console de la chambre de l'ado pour l'installer dans le salon, où l'on peut voir deux ou trois générations jouer ensemble. « Nous voulons faire jouer tout le monde » explique Alex Kipman. En clair : il faut étendre le marché du jeu vidéo vers de nouvelles clientèles. Il est vrai que pour piloter un engin volant ou mitrailler ses contemporains, Kinect est moins efficace qu'un joystick. Les 19 jeux actuels (vendus 50 euros pièce) sont d'ailleurs plutôt destinés à un public jeune (sport, adoption d'un animal sauvage...) ou familial (fitnessfitness, danse...).
Kinect peut aussi être utilisé pour des tchats vidéo : le jeu n'est pas la seule destinée que Microsoft imagine pour son interface corporelle. © Microsoft
Mais Kinect sert à autre chose qu'au jeu. Une fois connecté à InternetInternet, outre qu'il permet de jouer avec une personne connectée elle aussi au service XBox LiveXBox Live, Kinect sert aussi de webcamwebcam pour un service de tchat vidéo qui sera utilisable aussi avec des utilisateurs de PCPC (avec Windows Live MessengerMessenger). On peut aussi regarder la télévision. En France, « you can choose ʺSipleussʺ » explique mon interlocuteur, qui regrette de ne pouvoir faire de même aux États-Unis. « Sipleuss », c'est C+, c'est-à-dire Canal Plus. On se prend à trouver vraiment commode cette façon de piloter son téléviseur en remuant la main. « I hate controllers » confie Alex Kipman (en français : « je hais les télécommandes »). Kinect permet aussi de piocher dans le catalogue ZuneZune pour écouter de la musique.
Bref, l'interface corporelle montre qu'elle pourrait être utilisée dans bien d'autres domaines, au bureau, en salle d'opérations, dans l'industrie ou encore pour l'aide aux handicapés. Alex Kipman en convient mais n'indique rien des projets de son entreprise. MicrosoftMicrosoft ne peut pas ne pas y penser et ne serait d'ailleurs pas seul à travailler cette question. Certains imaginent se servir du corps ou de la main comme clavier et le système expérimental Sixthsense se porte sur soi et sert à dessiner ou photographier avec ses doigts... L'idée de dématérialiser l'interface homme-machine est d'ailleurs ancienne. En 1991, Pierre Wellner imaginait le Digital Desk, un bureau de travail virtuel où le clavierclavier et l'écran étaient remplacés par des images projetées.
Il reste dans ce domaine encore beaucoup d'idées à creuser. Il y faut juste un peu d'argentargent... Les dividendes gargantuesques du jeu vidéo autorisent aujourd'hui des investissements massifs dans de nouvelles technologies. C'est donc de ce côté qu'il faut regarder pour repérer des innovations futures.
