Vous n’allez pas en croire vos yeux : cette intelligence artificielle crée les mouvements que vous voulez sur une image

Dans l'universunivers des intelligences artificielles spécialisées dans la génération d’images, voici un nouveau venu. Il s'appelle DragGAN et son objectif n'est pas la création d'une image à partir de mots, mais plutôt de réorienter une photo et d'en modifier certains éléments en les régénérant artificiellement en quelques mouvementsmouvements de souris. Avec lui, il est possible de vous redonner le sourire sur une photo, par exemple, ou de faire cligner l'œilœil d'un chat et tourner la tête à un lionlion. Sur le principe, l'outil fait penser à Photoshop Warp d'Adobe, mais avec un gros plus. Au lieu d'étirer des pixels à la souris, l'IA à bord va totalement générer des zones de l'image inexistantes. Pour concevoir cet outil impressionnant, il a fallu que des chercheurs de grandes institutions et entreprises, telles que GoogleGoogle, le MIT et l'université de Pennsylvanie collaborent ensemble. Ils ont publié une page sur laquelle on peut voir comment manipuler l'image et laisser l'IA réaliser les modifications. Le GAN de DragGAN est l'acronyme des « réseaux antagonistes génératifs ». Avec eux, un premier réseau génère une image et son adversaire fait la traque aux détails qui clochent.

Deux réseaux antagonistes se mettent en concurrence pour générer des modifications de mouvement sur la photo. Le résultat est bluffant. © Projet DragGAN

Des réseaux concurrents

Pour duper le discriminateur, le réseau génératif doit faire en sorte d'obtenir un résultat de grande qualité et ultraréaliste. Dans le cas de ces travaux de recherche avec DragGAN, les chercheurs ont mis au point une nouvelle façon de manipuler ces GAN. L'utilisateur va cliquer sur la partie à modifier, pour créer une ancre, puis réaliser un mouvement qui va permettre de déplacer cette ancre. Les GAN vont alors observer ces mouvements. Mais ce n'est pas tout. Le réseau discriminateur va suivre et procéder à l'analyse critique des points de cette ancre pendant leur déplacement. Avec ce procédé, il est possible de déformer une image avec un contrôle précis et réaliste du nouvel emplacement des pixels. Un chienchien pris en photo de face, peut ainsi être repositionné de trois-quarts de façon photoréaliste. Toujours avec ce principe, les chercheurs expliquent que l'IA est capable d'inventer ce qui n'existe pas sur l'image. Ce serait le cas des dents d'un lion à qui l'on ouvre la gueule, par exemple.