Une nouvelle application créée par l’artiste et programmeur Cyril Diagne permet d’insérer une photo d’un objet dans Photoshop à partir d'un mobile. Le processus est automatisé, et s’appuie sur l’intelligence artificielle pour dissocier en quelques secondes l'objet de son arrière-plan.

au sommaire

    La réalité augmentée est à la mode dans le monde des smartphones. Cette technologie a conduit de nombreux constructeurs à ajouter un capteur de temp de vol. Jusqu'à présent, les usages restent pourtant limités. La plupart des applicationsapplications proposent une démonstration ludique de la réalité augmentée sans réel intérêt, ou alors de visualiser un nouveau canapé dans son salon avant de l'acheter. Un nouveau projet baptisé AR Cut & Paste réalise l'opération inverse, à savoir copier n'importe quel objet réel pour le coller dans un éditeur d'images.

    La démonstration a été faite par Cyril Diagne, un artiste numérique français. Dans une vidéo sur Twitter, il prend en photo trois objets avec son smartphone, et les insère dans Photoshop en visant simplement l'écran de son ordinateur. Un véritable copier/coller du monde réel vers un format numérique, le tout en à peine quelques secondes !

    Un système possible grâce au deep learning

    L'application combine le produit de plusieurs recherches, à commencer par BASNet (Boundary-Aware Salient Object Detection). Ce code utilise l'intelligence artificielle et des réseaux neuronaux afin de détecter les bords du sujet principal d'une image. Il permet d'isoler l'objet et de retirer l'arrière-plan. Afin d'insérer l'image dans Photoshop, l'artiste s'appuie sur OpenCV SIFT. Ce code détermine les coordonnées exactes du point sur l'écran d'ordinateur ciblé par la caméra du mobile.

    Il ne s'agit pour l'heure que d'un prototype de recherche, mais le processus est déjà très rapide. Cyril Diagne a indiqué qu'il suffit de 2,5 secondes pour copier un objet, et 4 secondes pour le coller. Selon lui, le processus pourrait encore être optimisé. Le code est disponible sur GitHub, et peut donc être réutilisé par toute personne ayant quelques compétences techniques. Avis aux amateurs....