La magie des algorithmes et du machine learning permet de transformer les graphismes pixellisés de Doom, Half-Life 2 ou encore Final Fantasy VII en jeux vidéo modernes.

au sommaire

    À l'ère des écrans ultra haute définitionultra haute définition 4K ou même 8K, les jeux vidéo publiés il y a 20 ans, ou même seulement 10 ans, prennent un coup de vieux. Les nostalgiques des jeux de leur enfance se heurtent souvent à une dure réalité lorsqu'ils tentent d'y rejouer. Impressionnants à l'époque, les graphismes ont mal vieilli, voire ils sont difficiles à supporter.

    Afin de donner un coup de jeune à ces jeux et les rendre plus attrayants pour un joueur moderne, de nombreux fans ont recours à « l'upscaling ». Cette technique consiste à augmenter la résolution des graphismes en insérant de nouveaux pixels. La méthode de base, l'interpolation par plus proche voisin, peut être effectuée automatiquement. L'image obtenue est meilleure que l'originale, mais laisse encore beaucoup à désirer.

    Une explosion des projets d’upscaling depuis six mois

    Plus récemment, de nombreux fans des vieux jeux ont travaillé sur de nouvelles approches en utilisant l'intelligence artificielleintelligence artificielle. Ils échangent leurs projets, savoirs et résultats, sur différents forums spécialisés, dont le subreddit r/GameUpscale. Depuis six mois, le nombre de jeux ayant subi un lifting a explosé et inclut des titres comme Doom, Half-LifeHalf-Life 2, Final Fantasy VII et bien d'autres.

    Les techniques utilisées jusqu'à récemment nécessitent de nombreuses heures de travail, requérant souvent une équipe entière pendant plusieurs années pour remplacer intégralement les graphismes du jeu. Désormais, une seule personne peut améliorer un jeu en quelques semaines.

    Améliorer l'aspect d'un jeu consiste simplement à modifier des images. Les jeux sont constitués de polygones 3D recouverts de texturestextures pour leur donner un aspect plus complexe. Les « modders », qui modifient les jeux, ne touchent pas au code du jeu en lui-même, uniquement aux images qui constituent les textures. Ils peuvent donc ensuite être distribués en tant que « modmod » à ajouter à un jeu installé légalement.

    Ce « mod » pour Final Fantasy 7 profite des réseaux de neurones de l'intelligence artificielle pour améliorer les décors du jeu. © CaptRobau 

    Le deep learning utilisé pour générer les textures

    La dernière technique en date se nomme Enhanced Super-Resolution Generative Adversarial Networks (ESRGAN) ou réseaux antagonistes génératifs améliorés de haute résolution. Il s'agit d'une technique de deep learning. L'algorithme apprend grâce à des réseaux antagonistes génératifs et des images en version haute et basse résolution -- où une partie ne dispose que de la version basse résolution --, et tente de recréer la version haute résolution. L'autre moitié de l'algorithme compare l'image haute résolution produite à l'origine et valide le résultat lorsqu'il est suffisamment proche.

    En répétant l'opération sur des millions d'images, l'intelligence artificielle améliore ses techniques jusqu'à pouvoir être utilisée pour générer des images cohérentes à partir des textures du jeu préexistantes. Toutes les textures dans les fichiers du jeu sont ensuite remplacées par des versions, avec une meilleure résolution, produites par le système ESRGAN.

    L'intelligence artificielle a considérablement réduit la quantité de travail nécessaire, mais chaque jeu exige tout de même encore jusqu'à plusieurs centaines d'heures pour améliorer l'algorithme et corriger manuellement les petites imperfections des images produites. Par exemple, les bords des textures qui se répètent en boucle pour former une paroi rocheuse ou de l'herbe doivent coïncider afin que la répétition ne soit pas flagrante, ce qui nécessite une intervention manuelle.

    Un de ces « modders », utilisant le pseudo hidfan, a passé 200 heures pour mettre à jour les graphismes du jeu Doom. La quantité de travail reste élevée, mais les résultats sont bluffants. La technique ESRGAN pourrait offrir une nouvelle jeunesse à de nombreux jeux.