Appuyé sur une large base de données, un logiciel est capable de reconnaître sur une photo la Tour Eiffel, la Statue de la Liberté ou le Taj Mahal. Il peut alors ajouter à l'image une annotation contenant les coordonnées géographiques et d'autres informations. Le secret : se servir des millions d'images stockées sur le Web et librement accessibles.

au sommaire

    Sur cette photographie, le logiciel a reconnu l’Arc de Triomphe et a même ajouté un lien Wikipédia. © Jean-Charles Bazin

    Sur cette photographie, le logiciel a reconnu l’Arc de Triomphe et a même ajouté un lien Wikipédia. © Jean-Charles Bazin

    De retour de vacances, on souhaite trier ses photos mais on oublie parfois où elles ont été prises voire ce que l'on a pris en photo. Des chercheurs de Zurich (Suisse) et de Leuven (Belgique), en collaboration avec l'entreprise Kooba, viennent d'apporter une solution originale et efficace.

    Stephan Gammeter, Lukas Bossard, Till Quack et Luc Van Gool ont développé une méthode permettant d'ajouter à des photos plusieurs sortes d'informations (position GPS, lien Wikipédia, etc.) grâce aux millions d'images photos présentes sur le Web. A partir d'une photo, leur système, PhotoContext, parvient à retrouver où elle a été prise et ce qui a été photographié, un monument ou un lieu, pourvu qu'il soit suffisamment célèbre.

    Cet outil expérimental vient d'être montré lors de la douzième édition de la conférence internationale (bisannuellebisannuelle) sur la vision par ordinateur (ICCV'09), qui s'est tenue à Kyoto, au Japon. PhotoContext est de plus présenté sur le Web en version bêta. Mais la démonstration gratuite, peut-être victime de son succès, est désormais terminée et il faut s'inscrire sur une liste d'attente pour espérer profiter d'une prochaine session.

    Accumuler les photos laissées par les internautes

    Pour parvenir à reconnaître un lieu, les chercheurs ont utilisé les photos présentes sur le Web avec leurs annotations associées. De telles mines d'images ne manquent pas. On les trouve sur des services de partage de photos, comme Flickr ou Picasa Web, mais aussi sur FacebookFacebook, où 30 millions de photos seraient ajoutées chaque jour !

    De nombreux chercheurs étudient aujourd'hui comment profiter de cette manne iconographique. A l'Université de Washington, certains ont réussi à construire des modèles 3D de monuments célèbres à partir des photographiesphotographies de Flickr. Récupérée par MicrosoftMicrosoft pour créer le service Photosynth, la méthode a été perfectionnée et peut désormais modéliser une ville entière.

    Le système actuel contient plus de 4 millions de photos du site Flickr prises dans le monde entier avec certaines informations : coordonnées GPS plus ou moins précises, description, mots-clés, annotations diverses, etc.

    Dans la phase préparatoire de son travail, le logiciel repère toutes les photos prises dans un certain périmètre grâce à l'information GPS. Elles sont alors agrégées pour rendre la recherche plus rapide, par exemple toutes les photos prises dans un rayon de 200 mètres autour de la Statue de la Liberté. Ensuite, l'objet dominant dans chacun de ces groupes d'images est détecté. Puis, le programme compare la photo de vacances que l'on souhaite annoter avec les objets dominants des images regroupées.

    Même s'il existe des dizaines de milliers d'objets à comparer, ce travail peut s'effectuer assez rapidement grâce aux techniques actuelles de recherche d'information dans d'énormes bases de donnéesbases de données, très efficaces. On peut ainsi trouver le groupement d'images le plus similaire et donc annoter la photo avec les informations associées aux images, telles que la position GPS, les mots-clés, les tags, et même un lien Wikipédia.