AI Short film “Evolution”
Depuis plusieurs mois je me forme à l’intelligence artificielle générative. Après pas mal de temps passé sur la génération de textes avec ChatGPT, puis d’images avec Midjourney, d’améliorations photographiques avec Magnific AI et de post-production sur Adobe Photoshop avec Firefly, je me suis mis à tester les outils IA vidéo avec Luma Labs AI Dream Machine, Runway et Kling AI, qui sont vraiment tous impressionnants !
Je vais parler ici de plusieurs de cas concrets où j’ai testé humblement et tranquillement ces intelligences artificielles. Je n’ai pas la prétention de dire que je les maîtrise, loin de là. Je suis novice, ces outils sont nouveaux. Oui car autant couper la polémique tout de suite, ce ne sont que des outils ! Les IA ne vont pas remplacer (en tout cas pas tout de suite) mais surtout nous aider à être plus productifs, à aller plus loin. J’essaye de les intégrer au fur et à mesure dans mon pipeline de production et surtout de pré-production. La route est encore longue sur le chemin de la connaissance, mais la peur est dissipée, le plaisir d’apprendre est là !
Je me sers maintenant de plus en plus de ces nouveaux outils intelligents de manière naturelle pour mon travail de pré-production dans mes notes d'intentions de réalisateur et je trouve cela très enthousiasmant d'étoffer toujours plus son arsenal créatif ! Alors, avant de vous présenter le résultat de toutes ces recherches qui m’ont amené à participer à un concours de court métrage en IA, je vous fait un petit résumé de mes recherches depuis quelques mois.
Prêts à en prendre plein les yeux ?
Après plusieurs formations et recherches personnelles sur des tutoriels en tous genres sur Midjourney, j’ai appris à force à structurer de manière professionnelle mes prompts et à pourvoir générer à peu près toutes les images que je voulais, et notamment des photos réalistes pour mes notes d’intentions de réalisateurs à destinations de mes clients. Je pense que c’est vraiment l’IA que je maîtrise le mieux. Par exemple ici, une image pour une marque de maroquinerie parisienne :
Je me suis mis à créer du contenu vidéo cohérent avec le mood proposé pour illustrer des plans, commencer à réfléchir à la mise en scène. Voici une déclinaison créée pour mon client avec Runway Gen-3 :
Ensuite il y a eu l’annonce de Sora, l’IA générative vidéo de OpenAI qui a bouleversé tout le monde au moment de sa sortie. L'arrivée de cette intelligence artificielle marque une avancée significative dans le domaine de la technologie vidéo :
J'ai essayé de recréer, juste à l’aide de prompts, l'une des séquences de ce teaser qui m'avait bluffé, mais qui est encore inaccessible au grand public... et je trouve le résultat avec Runway Gen-3 encore plus incroyable ! Pour comparer, il s’agit de la séquence à 5:00 de la vidéo précédente. Qu'en dites-vous ? Qui gagne ? Sora ou Runway ?
Il y a eu une nouvelle et passionnante innovation venue de Luma Labs AI Dream Machine : la possibilité de créer une vidéo à partir d’une image de départ. J’ai donc décidé de créer une image originale sur MidJourney en me focusant sur le principe de packshot et j’ai essayé de produire un turn around, comme si c’était de la 3D, en intégrant cette idée d’une sneaker qui tourne en boucle sur elle-même, sur un fond de studio soigneusement conçu et rempli de nombreux éléments visuels tels que des particules, de la fumée, ainsi que du motion design. Ce fut un exercice super intéressant au cours duquel j’ai appris pas mal de choses sur le packshot IA, ce qui m’a vraiment permis d'élargir mes compétences.
Toujours sur Luma Labs AI Dream Machine, j’ai effectué un nouveau test dans lequel j’essaie de générer des mouvements de caméra continus sur deux valeurs très différentes, en partant d’une image que j’ai soigneusement prompté sur Midjourney. Le rendu s'avère finalement convaincant, même si la lumière présente n’est pas tout à fait réaliste. Je pense sincèrement que, pour la préparation au tournage, cela peut constituer un outil particulièrement intéressant et utile pour les directeurs de la photographie pour visualiser des mouvements complexes de caméra, comme ici où on pourrait matérialiser ce plan en drone :
J’ai continué à faire un nouveau petit test d’animation avec l’IA, en utilisant un ourson inspirant qui a été créé d’abord sur Midjourney, puis animé de manière innovante avec l’outil Luma Labs AI Dream Machine. L’idée ici, c’était d’explorer comment pouvait cohabiter harmonieusement l’intelligence artificielle et les techniques de post-production vidéo classique. Pour ajouter une touche dynamique, j’ai intégré une particule en interaction avec l’ours sur After Effects. De plus, la musique a été générée grâce à l’intelligence artificielle sur Suno, renforçant l’atmosphère enfantine et féérique de l’ensemble.
Nouveau test de loop vidéo utilisant l'intelligence artificielle, réalisé à l'occasion des Jeux Olympiques qui approchaient à grands pas au moment où je travaillais activement dessus ! Pour cette création, j'ai choisi d'explorer Google Earth Studio et je me suis lancé dans la conception d'une boucle d’animation autour de la Tour Eiffel dans After Effects. Dans le processus, j'ai généré des images et des formes colorées aléatoires de la tour sur Photoshop avec l'outil AI Firefly, en travaillant image par image, que j'ai ensuite incorporées dans mon métrage. L’idée ici était d’être vraiment créatif avec la vidéo en utilisant l'IA tout en intégrant d’autres outils innovants. Encore beaucoup de recherche, d'exploration et de réflexion ont été nécessaires pour mener ce projet à bien. La musique a été générée encore une fois grâce à l’IA sur Suno, ajoutant une dimension sonore enrichissante à l'ensemble.
J’ai aussi essayé de repartir de médias que j’avais crées de manière traditionnelle pour voir si je pourrai les recréer avec l’IA. Je suis donc parti de la photo suivante que j’ai shooté en studio avec un boitier Canon :
Sur Midjourney à partir d’un prompt texte bien ordonné, avec les bonnes références de l’appareil et de conditions de shooting et avec un paramètre CREF de référence de ma photo, j’ai itéré les exports de manière à être le plus proche possible et je suis parvenu à avoir une image satisfaisante que j’ai envoyé dans Magnific AI pour encore l’améliorer et l’upscaler pour obtenir ce résultat :
Quelques temps plus tard, mon ami le motion designer Grégoire Stern m’a proposé de participer à un concours pour tester nos limites en conditions réelles. J’étais un peu affolé au début mais je me suis dit que ça valait le coup de tenter !
J’ai donc co-réalisé avec lui ce court métrage à l'occasion du concours organisé par Runway. Nous avons eu officiellement 48 heures pour écrire et réaliser ce film (et en réalité beaucoup moins car nous étions partis au début sur une autre idée que l’on a abandonné car on voyait que techniquement, nous n’allions pays y arriver. On a en réalité bosser toute la journée de dimanche dessus …). On a voulu faire un film déjà techniquement possible dans le temps imparti et en même temps quelque chose qui aurait été impossible en si peu de temps sans l’IA ! Surtout je voulais un film le plus universel possible. J’ai eu l’idée de montrer l’évolution de l’homme depuis la première cellule jusqu’à un super humain tout puissant, volant dans l'espace, défiant les Dieux. C'est un peu une métaphore de là où on en est actuellement avec l'intelligence artificielle ;)
Les images ont été générées sur MidJourney et animées sur Runway Gen-3 Alpha grâce aux crédits accordés pour le concours. La musique a été sélectionnée sur Epidemic Sound grâce à l’obtention de crédits pour le concours.
Voilà, je suis content de partager ces recherches et ces tests que je fais humblement à côté de mon travail de réalisateur, motion designer et photographe et qui viennent étendre mes connaissances. Ma conclusion de tout ça ? C'est que l'IA va devenir incontournable dans tous les domaines et notamment les métiers créatifs. Il y a des nouveautés tous les jours et des révolutions à peu près toutes les 3 semaines ! Cela va devenir indispensable de se former à ces nouveaux outils qui ne vont pas remplacer les créatifs, mais les aider à devenir plus productifs et plus créatifs. Cela ne sert à rien de faire l'autruche, l'IA générative est déjà là, autant s'y mettre tout de suite. Aussi, ce n'est pas du tout aussi simple que certains l'entendent ou aimeraient le croire. C'est encore très aléatoire, mais le mieux c'est de continuer à apprendre tranquillement et avec un esprit ouvert. J'en apprends de nouvelles choses tous les jours ! Et vous, qu'en pensez-vous ?
Et pour finir ce post, quelques images du film et d’autres que nous avions générées mais que nous n’avons finalement pas utiliser…
