Stability AI, connu pour son générateur d’images Stable Diffusion, vient d’annoncer avoir mis en ligne une nouvelle IA qui permet d’animer des images en générant des vidéos de quelques secondes. Le code source est déjà disponible en accès libre.

au sommaire

    Stable DiffusionDiffusion XL fait partie des meilleures intelligences artificielles pour la génération d'images. Son créateur, Stability AI, vient d’annoncer le lancement d'une nouvelle IA, Stable Video Diffusion, pour la vidéo cette fois-ci. L'idée n'est pas novatrice, puisque GoogleGoogle, Meta, Nvidia et Adobe ont déjà montré des technologies similaires, et Meta a même annoncé l’intégration prochaine dans FacebookFacebook et InstagramInstagram. Mais, pour l'instant, leurs IA ne sont pas en accès public.

    Stable Video Diffusion permet de générer des vidéos de quatre secondes. Impossible donc de créer un film, il s'agit plutôt d'images animées à l'instar des GIF. C'est d'ailleurs ainsi qu'il fonctionne puisqu'il part d'une image pour générer la vidéo. Stable Diffusion proposera également une interface pour générer des vidéos à partir d'un texte, en combinant sa nouvelle IA avec une version de Stable Diffusion. Pour s'assurer de la qualité des vidéos, la firme a fait appel à des volontaires pour tester son IA face à ses principaux concurrents en accès public, à savoir Runway Gen-2 et Pika Labs. Ceux-ci ont jugé que la qualité des clips produits par Stable Video Diffusion était largement supérieure.

    Le code source publié en ligne

    Le modèle a été entraîné sur une base de données d'environ 600 millions de vidéos, et génère des clips avec une définition de 576 x 1 024 pixels. L'IA se décline en deux versions. La première s'appelle SVD et permet de générer des vidéos contenant 14 images par seconde, tandis que la seconde est baptisée SVD-XT et est optimisée pour la génération de vidéos en 25 images par seconde.

    L'une des particularités qui distingue Stability AI de ses concurrents est que la firme publie le code sourcecode source de ses modèles en ligne, ce qui signifie que n'importe qui peut les utiliser sur son propre matériel, à condition d'avoir les connaissances techniques nécessaires. Le code est disponible sur sa page GitHub, tandis que la pondération nécessaire pour exécuter le modèle localement est disponible sur sa page Hugging Face.