Une nouvelle IA baptisée « Castle in the Sky » est capable de remplacer automatiquement le ciel dans des vidéos. Créé par un chercheur de l’université du Michigan, l’outil utilise l’apprentissage profond pour ajouter des éléments comme des vaisseaux spatiaux ou des châteaux volants, ou changer la météo.

au sommaire

    Depuis quelques années, de nombreux outils s'appuient sur l'intelligence artificielle pour truquer les vidéos. Ces deepfakes consistent généralement à remplacer le visage d'une personne, ou à lui faire tenir des propos qu'elle n'a pas prononcés. Zhengxia Zou, un chercheur postdoctoral à l'université du Michigan, a mis au point un nouvel outil également basé sur l'apprentissage profondapprentissage profond, mais qui remplace automatiquement le ciel.

    Castle in the Sky est capable d'ajouter dans une vidéo un château volant, un vaisseau spatial ou d'autres éléments comme des planètes, des luneslunes ou un ciel étoilé. Toutefois, l’IA ne se contente pas de modifier le ciel, elle adapte aussi l'éclairage de la scène pour obtenir des résultats très réalistes. De plus, l'outil calcule automatiquement le déplacement du ciel d'une image à l'autre afin de suivre les mouvementsmouvements de la caméra.

    Une IA capable de changer la météo

    Les méthodes classiques pour remplacer le ciel se basent sur des images fixes ou nécessitent les données des capteurscapteurs des smartphones afin de placer le ciel correctement. Castle in the Sky utilise une technique purement visuelle, et fonctionne donc avec toutes les sources de vidéos. Plutôt qu'un réseau antagoniste génératif (GAN), habituellement utilisé dans ce genre d'outil, Castle in the Sky s'appuie sur un réseau neuronal convolutif (CNN). Sur un ordinateur équipé d'une carte graphique Nvidia TitanTitan XP, l'IA peut changer le ciel en temps réel, à 24 images par seconde, sur une vidéo avec une définition de 640 x 320 pixels.

    L'outil propose également une seconde fonction, puisqu'il est capable de changer la météométéo, passant d'un temps couvert à ensoleillé, ou en ajoutant de la pluie ou un orageorage. Castle in the Sky ne nécessite aucune interaction de la part de l'utilisateur. L’IA détecte automatiquement les limites du ciel et préserve tout élément qui s'y superpose, comme un arbrearbre ou un lampadaire.