Et si vous pouviez métamorphoser une vidéo en lui insufflant une atmosphère artistique, en modifiant le décor, en sublimant la luminosité ? C’est ce que permet Gen-3.
au sommaire
La vidéo assistée par intelligence artificielle ne cesse de progresser et offre des possibilités toujours plus étonnantes comme celle de transformer une vidéo en dessin animé. Ou encore animer et faire parler une photographie.
L'applicationapplication Gen de Runway ML a été l'un des précurseurs de la génération de vidéo à partir d'un prompt. Et la version Gen-3 a introduit une fonction assez remarquable : la possibilité de métamorphoser une vidéo en bonifiant le personnage, les décors, en changeant l'atmosphèreatmosphère...
Qu’est-ce que Runway ?
Runway ML est une véritable boîte à outils de services d’intelligence artificielle liés au traitement d'image. La génération de vidéos à partir d'un prompt est bien évidemment l'outil de base. Mais on trouve aussi un grand nombre de services efficaces : suppression du fond d'une vidéo, floutage d'un visage, génération de sous-titres...
Runway ne dispose que d'une offre limitée pour ce qui est de la gratuité. Vous avez droit à 125 crédits, ce qui correspond à 10 secondes de vidéo environ et donc, si ce service vous séduit, il faudra souscrire à une offre payante, soit au minimum 12 dollars par mois. Et si vous avez de très gros besoins, il est possible d'user de ces services de façon illimitée en déboursant 76 dollars par mois. Vous pouvez vous désabonner à tout moment.
Video to video
Dans le cas présent, le service qui va nous intéresser est « Video to Video ». En d'autres termes, la transformation d'une vidéo selon un autre modèle.
Sur le site de Runway, cliquez sur Get started. Sélectionnez « Video to Video » et assurez-vous de bien sélectionner « Gen-3 ». Chargez ensuite une vidéo depuis votre Mac ou PC. Une fois la vidéo chargée, cliquez sur « Exemples ». Vous voyez alors apparaître une série de modèles prédéfinis : 3D Cartoon, Claymation (animation en pâte à modeler), Dramatic, Glass (verre)... Vous pouvez sélectionner l'effet désiré et cliquer sur « Apply ». Un prompt est proposé et vous avez tout loisir de l'enrichir (en anglais). Vous pouvez aussi, imaginer un prompt totalement original.
Cliquez ensuite sur « Generate ». La génération démarre et elle prend habituellement plusieurs minutes. À noter que seules 10 secondes de vidéo peuvent être prises en compte.
Comme vous pourrez le voir, la vidéo convertie respecte fidèlement les mouvementsmouvements et même le look de l'original. Toutefois, le décor et l'atmosphère sont intégralement métamorphosées. Voici quelques exemples que nous avons accomplis.
Quelques exemples de transformations avec Gen 3. © D.Ichbiah avec Gen-3 de RunwayML
Transformation complète
Il existe une alternative dans Gen3. Dans la colonne de gauche, vous pouvez choisir « Act One », sélectionner votre clip (en le puisant dans les Assets) et transformer complètement le personnage de votre vidéo en choisissant l'un des modèles proposés - les mouvements des lèvres seront respectés, mais la vidéo sera radicalement différente de l'originale.
