Est-il possible de générer des séries télévisées et des films avec des IA génératives ?

Cela ne vous aura pas échappé : depuis quelques années, les outils de génération de contenu par intelligence artificielle générative se sont multipliés. Texte, image, son, et même vidéo : plus aucun domaine n’échappe à l’IA. Au point que certains ont prédit que d’ici à quelques années, les dessins animés, films et séries créées avec des « prompts » (nos conseils pour produire les meilleures requêtes se trouvent ici) allaient envahir le marché. Où en est-on réellement ?

Des tentatives limitées par la nature même des technologies de génération par IA ?

Il est toujours bon de le rappeler, mais à l’heure actuelle, les outils de génération de contenu fonctionnent avant tout et pour l’essentiel comme des versions améliorées de votre outil de complétion de texte sur votre smartphone. Vous insérez une instruction dans un moteur d’IA, et l’outil va tenter de déterminer ce qu’il est probable que vous souhaitiez voir ou entendre en fonction des instructions reçues.

Comme il est à ce jour difficile de dépasser ce cadre, même les instructions les plus précises (les fameux prompts, que nous décryptons pour vous dans cet article) livrées aux outils les plus puissants ne peuvent pas vraiment s’extraire des jeux de données utilisées pour les entraîner à créer. Et ne peuvent en conséquence pas produire de résultat très original. C’est ce qui est souvent reproché aux courts-métrages ou bandes-annonces de films produites de cette manière : un côté visuellement très étrange (puisqu’il fait la « moyenne » d’un certain nombre de résultats plutôt que de produire quelque chose de naturel) et une incapacité à générer des histoires ou des séquences arrivant à former une histoire.

C’est ce qui a par exemple été reproché au court-métrage d’animation Rock, Paper, Scissors du studio Corridor, dont le rendu fébrile et le scénario confus ont soulevé davantage de questions que de réponses. De même, la série Qianqiu Shisong, réalisée pour la télévision d’État chinoise a déçu par la très faible qualité de son rendu final comparé à de l’animation traditionnelle.

Un constat qui reste pour le moment le même pour des productions s’éloignant du champ de l’animation et tentant de reproduire des films en prises de vue réelle, à l’image des productions du studio TCLtv, devenu en avril dernier la risée de nombre d’internautes avec son projet de comédie romantique Next Stop Paris.

Mais si ce dernier est particulièrement raté et dérangeant, les autres productions de TCLtv montrent les mêmes limites : des plans fixes, des visages symétriques, une absence de mouvements de caméra assez criante et des scénarios moyennement compréhensibles ou intéressants.

Des réussites expérimentales ou humoristiques

Cela ne veut pas dire que les films ou épisodes de série générés par IA soient nécessairement condamnés à ne produire que des résultats faiblards (du moins en attendant le prochain bond technologique dans le domaine). Pour le moment, les technologies à disposition ne permettent pas vraiment de réaliser des séquences scénaristiques cohérentes ni d’avoir des ambitions de mise en scène. En revanche, elles peuvent être intéressantes pour des usages expérimentaux ou humoristiques.

Ainsi, le collectif artistique Mismatch Media a fait sensation en 2022 en créant la série Nothing, Forever, une parodie de la sitcom Seinfeld dont les dialogues et les visuels étaient générés par IA et influencés par des votes du public. Le résultat a été remarqué pour avoir généré des visuels étranges, des dialogues absurdes et une absence d’action tout à fait typiques… D’un épisode de Seinfeld !

Des expériences similaires ont été reproduites avec d’autres sitcoms connues pour leur côté absurde et répétitif, à l’image d’Ai Peter, un épisode sans fin de Family Guy diffusé depuis près d’un an sans discontinuer.

Comme le soulignent régulièrement des revues technologiques, les expériences les plus marquantes dans le domaine lorgnent souvent du côté du cinéma expérimental, un genre plus à l’aise avec le rendu actuel des films générés par IA. La revue technologique du MIT a même évoqué à ce sujet la naissance d’un « nouveau surréalisme« .

Des questions non résolues de coût de production et d’exploitation, ainsi que de copyright

La génération de films et de série par IA se heurte également à deux autres problématiques à très court terme. D’une part, les outils utilisés pour générer du contenu visuel et sonore sont « entraînés » sur des données fréquemment placées sous copyright. En clair : pour « apprendre » à créer des films, les logiciels de création de vidéo doivent utiliser des films déjà produits, et pas toujours avec l’autorisation de leurs propriétaires. Un problème qui a d’ores et déjà engendré nombre de querelles légales dans de nombreux pays, et qui pourrait à très court terme bloquer la diffusion commerciale de ce genre de produits audiovisuels. Une question dont les sociétés commercialisant ces logiciels ont d’énormes difficultés à se dépêtrer en 2024.

D’autre part, même si la promesse initiale consiste à pouvoir générer des films, des scripts, voire des sitcoms entières uniquement à partir de quelques instructions, le coût opératif de ces logiciels est de plus en plus questionné. Le processus de génération d’images animées, plus encore que de génération de texte ou d’illustration, nécessite une puissance de calcul extrêmement importante. Les sociétés éditrices de logiciels d’IA doivent donc créer d’importants centres de données et embaucher des ingénieurs spécialisés extrêmement bien rémunérés.

Comme le souligne la newsletter spécialisée du journaliste Edward Zitron, des firmes comme Open AI font face à une augmentation extrêmement rapide de leurs frais de fonctionnement sans parvenir à dégager un modèle commercial stable. Ce qui pourrait conduire leurs produits à être rendus inopérants à court terme.

Des outils qui peuvent assister certaines étapes de la création

Tout n’est cependant pas si négatif : si la génération de films entiers par IA semble se heurter à plusieurs murs pour le moment infranchissables, l’utilisation de certaines de ces techniques dans le milieu du cinéma et de l’animation a dores et déjà fait ses preuves pour certaines tâches précises.

Ainsi, les équipes d’animation du film Across the Spider-Verse ont confirmé avoir utilisé des outils d’assistance à l’animation pour supprimer certaines tâches redondantes, répétitives ou non créatives… Mais pouvant tout à fait être résolues par ce type de logiciels. Un usage similaire est décrit par les trois scénaristes à l’origine du manga puis de l’anime 16bit Sensation, qui décrivent l’usage de logiciels d’IA pour pouvoir créer à la volée des variations dans les vêtements d’un personnage.

Spiderverse had one of the largest teams of animators to *ever* work on an animated movie, so I can assure you that it didn’t steal anyone’s job. THIS is ethical use of AI. It’s not stealing from anyone, and it’s making the animators life easier by eliminating repetitive tasks. https://t.co/ObebDlMaP7

— 💜 JV 💜 (@javi_khoso) June 10, 2023

Ces outils, pour de telles tâches, ne vont pas sans poser eux aussi des questions légitimes, ces missions étant habituellement dévolues à des artistes « junior » et leur servant de formation de perfectionnement dans le milieu. Néanmoins, cette utilisation est actuellement plus viable et plus pertinente que des projets consistant à créer des films par IA de A à Z qui soient à la fois compréhensibles et visuellement aboutis.