au sommaire
L'état dépressif se traduit notamment par une série de signes extérieurs que les spécialistes connaissent bien. Par exemple, certaines expressions corporelles et faciales ou l'intonation de la voix peuvent être interprétées comme des manifestations de la dépression. Des scientifiques de l'Institute of Creative Technologies de l'université de Californie du Sud (USC) ont développé une applicationapplication entièrement autonome capable d'analyser ces informations à partir d'un entretien mené par un psychologue virtuel.
Nommée SimSensei, la technologie repose sur un capteurcapteur Microsoft Kinect qui observe la posture, les gestes, les expressions faciales, le regard ainsi que la prosodieprosodie, c'est-à-dire le rythme de la voix. Toutes ces données sont analysées en temps réel par une application baptisée MultiSense, qui travaille à partir de modèles psychologiques de l'état dépressif.
Analyse en temps réel
Il suffit de prendre place en face du capteur Kinect et de répondre aux questions posées par l'avatar qui apparaît sur un écran et joue le rôle du psychologue. Il pose des questions, marque des pauses pour permettre à la personne de développer, puis relance en tenant compte des réponses. « La reconnaissance automatique du langage permet à SimSensei d'analyser le discours de la personne et de décider de la réponse appropriée », explique à Futura-Sciences Louis-Philippe Morency, un scientifique canadien spécialisé dans l'analyse de la communication sociale non verbale par les moyens informatiques, et qui participe au projet. « Nous nous concentrons sur quatre sources principales comme indicateurs de détresse : les expressions du visage, les mouvements du corps, la prosodie et des indices linguistiques », poursuit-il. Les chercheurs ont mené un essai sur un groupe de 60 personnes, dont 30 avait été auparavant diagnostiquées comme dépressives. Résultat : l'application a identifié 90 % des candidats souffrant de dépression.
Cette vidéo de démonstration permet de découvrir le fonctionnement de l’application couplée au capteur Kinect. Sur la fenêtre de droite, l’avatar SimSensei tient le rôle du psychologue et pose des questions à la personne filmée par le capteur Kinect. La fenêtre de gauche montre comment les expressions du visage, les mouvements du corps et l’intonation de la voix sont mesurés en temps réel et restitués sous forme d’indicateurs. L’application MultiSense associe divers algorithmes à des modèles psychologiques de l’état dépressif afin de déterminer l’état d’une personne. Lors des tests, le système a identifié 90 % des candidats diagnostiqués comme dépressifs. © Institute for Creative Technologies, USC
La démonstration vidéo réalisée par les chercheurs montre comment le système travaille en temps réel. Le capteur Kinect élabore un modèle du visage et du corps de la personne qui répond à l'avatar à partir des mesures qu'il effectue sur les mouvements des yeux, de la bouche, la posture et la voix. Le logiciel affiche en direct le niveau d'attention et l'activité corporelle à partir d'indicateurs très détaillés qui comprennent les mouvementsmouvements verticaux et horizontaux du regard, le degré d'ouverture de chaque œilœil, l'intensité du sourire, la position du squelette et les inflexions de la voix. Une sorte de tableau de bord, à partir duquel l'application va déterminer si la personne présente ou non un état dépressif.
SimSensei, outil complémentaire pour diagnostiquer la dépression
Pour autant, Louis-Philippe Morency reconnaît que le diagnosticdiagnostic de la dépression ne se résume pas aux seuls indices corporels. « Seul un clinicien peut établir un diagnostic. SimSensei apporte une information quantifiée qui vient en complément des outils de diagnostic existants », précise-t-il tout en ajoutant que l'application a reçu un accueil favorable auprès de psychologues et de spécialistes de la santé.
Car il faut reconnaître que la performance de cet outil est impressionnante, d'autant qu'il pourrait servir à diagnostiquer d'autres maux. « Nous étudions d'autres troubles mentaux comme l'anxiété et le syndromesyndrome de stress post-traumatiquestress post-traumatique avec des résultats initiaux qui sont prometteurs ». Le chercheur précise également que l'ensemble composé de SimSensei et de MultiSense a été pensé comme une « plateforme interactive générique », et que l'objectif à venir est de l'étendre à d'autres domaines comme l'enseignement à distance, et à de nouveaux troubles comme l'autismeautisme.
