Ces outils de génération et de retouche vidéo pourraient être utilisés pour publier du contenu sur Instagram et Facebook.
Meta multiplie les annonces autour de l’intelligence artificielle (IA) générative. Le géant américain a présenté jeudi deux nouvelles fonctionnalités basées sur l’IA pour l’édition de vidéos. Le premier outil, appelé Emu Video, permet de générer des vidéos d’une durée de quatre secondes à partir d’une entrée textuelle et d’une image.
Pour ce modèle de génération texte-vidéo, Meta précise avoir divisé le processus en deux étapes. Ainsi, une image est d’abord générée à partir d’un prompt textuel, puis le texte et l’image sont utilisés pour produire une vidéo. « Cette approche « factorisée » ou divisée de la génération vidéo nous permet d’entraîner efficacement des modèles de génération vidéo », a expliqué le groupe californien dans un article de blog, affirmant que la plupart des utilisateurs préfèrent Emu Video à Make-A-Video, son IA génératrice de vidéos dévoilée en septembre 2022, pour sa qualité et sa fidélité au prompt textuel.
Des fonctionnalités encore au stade de recherche
Le second, Emu Edit, permet, lui, de modifier plus facilement des vidéos à l’aide de prompts textuels. Il « vise à simplifier diverses tâches de manipulation d’images et à apporter à la retouche d’images des capacités et une précision améliorées », a déclaré Meta. Parmi les modifications possibles mentionnées par la société figurent, entre autres, la suppression ou l’ajout d’un arrière-plan, ainsi que des changements de couleur et de géométrie.
Formé à partir d’un ensemble de données de 10 millions d’images de synthèse, ce modèle serait capable de suivre précisément les instructions, garantissant que les pixels de l’image d’entrée sans rapport avec les instructions ne changent pas. Si un utilisateur décide par exemple de modifier une image, en ajoutant le mot « Aloha ! » sur une casquette de baseball, celle-ci devrait rester la même. « Notre modèle affiche des résultats d’édition sans précédent en termes de fidélité des instructions et de qualité d’image », a affirmé Meta.
Comme le nom de ces deux outils l’indique, ils sont une amélioration du modèle Emu présenté lors de la conférence annuelle de Meta dédiée aux développeurs fin septembre. Capable de générer des images à partir de prompts textuels, il est à la base de certains outils de retouche d’images pour Instagram, qui permettent de prendre une photo et d’en modifier le style visuel ou l’arrière-plan.
Ces nouvelles fonctionnalités, encore au stade de recherche, pourraient être utilisées pour créer des GIFs à la volée avant de les envoyer dans une discussion de groupe ou encore pour modifier des photos et des images sans aucune compétence technique, selon Meta. La société précise néanmoins qu’ils ne visent pas à remplacer les artistes, mais plutôt qu’ils pourraient aider les gens à s’exprimer autrement.
