au sommaire
Facebook vient de lancer une nouvelle fonctionnalité qui utilise des avancées de l'intelligence artificielle, notamment en termes de reconnaissance d'objets, pour décrire le contenu de photos publiées sur son réseau aux aveugles et aux malvoyants.
La technologie est disponible uniquement dans un premier temps sur les appareils mobiles d'Apple (iOSiOS) et pour les utilisateurs anglophones de 5 marchés spécifiques (États-Unis, Royaume-Uni, Canada, Australie, Nouvelle-Zélande). L'objectif est toutefois de l'étendre rapidement à d'autres langues et à d'autres plateformes.
La nouvelle fonctionnalité, baptisée « automatic alternative text », fonctionne avec les logiciels utilisés par les aveugles pour obtenir une description audio de ce qui s'affiche sur leur écran.
Dans le cas d'une image publiée sur Facebook, ce type de logiciel se contentait toutefois généralement jusqu'ici de dire qu'il s'agissait d'une photo avec le nom de son auteur, et de lire le cas échéant les commentaires écrits en dessous, ce qui ne donnait pas forcément d'indication sur son contenu.
Sur ces exemples de photos, le système de reconnaissance d’objets sait identifier la présence d’une pizza, d’arbres, de deux personnes souriantes portant des lunettes de soleil se trouvant à l’extérieur et à proximité de l’eau. © Facebook
L’IA peut reconnaître une centaine d’éléments
La nouvelle fonctionnalité ambitionne d'enrichir cette description en fournissant à l'utilisateur quelques mots sur ce qui a pu être automatiquement reconnu dans l'image. Lors d'une démonstration pour des journalistes, le système indiquait par exemple qu'une photo pouvait montrer du ciel et un arbrearbre, une pizza, ou trois personnes qui sourient en extérieur.
Cela reste une description partielle du contenu de l'image, avec pour l'instant une centaine d'éléments reconnus automatiquement, qu'il s'agisse de modes de transport (voiturevoiture, bateau, avion, vélo...), d'éléments naturels (extérieur, montagne, arbre, océan, soleilsoleil...), de types de sports (tennis, natation, golf...) ou de nourriture (pizza, sushi, café, dessert) ou encore de mots aidant à décrire l'apparence d'une personne (bébé, lunettes, barbe, souriant...).
Le choix des éléments de cette liste, qui a vocation à s'allonger au fil du temps, repose sur la fréquence d'apparition des choses en question dans les photos publiées sur FacebookFacebook, mais aussi sur la capacité du système à les reconnaître de manière fiable, ont expliqué aux journalistes Jeff Wieland, un des membres de l'équipe s'occupant des questions d'accessibilité chez Facebook, et Matt King, un ingénieur du groupe qui a perdu la vue quand il était à l'université.
Dans le futur, le système pourrait être développé pour fournir des descriptions plus complètes, par exemple en précisant les activités auxquelles se livrent les personnes sur une photo, ou peut-être leur identité, ont-ils détaillé. Facebook n'est pas le seul groupe technologique à envisager d'utiliser l'intelligence artificielle pour aider les handicapés.
Lors d'une conférence pour les développeurs la semaine dernière, MicrosoftMicrosoft avait également évoqué l'intégration de fonctions de reconnaissance d'objet ou de texte à des applicationsapplications mobiles. Il avait notamment montré dans une vidéo comment ce type de fonctionnalité pourrait par exemple s'intégrer à des lunettes ou un smartphone pour « voir » à la place d'un aveugle et lui décrire les gens qui l'entourent et leurs réactions, ou encore lui lire le menu d'un restaurant.
par Futura avec Relaxnews
le 11 avril 2016
