Alors que la première, appelée Imagen Video, se concentre sur la qualité, la seconde, Phenaki, permet de créer des vidéos plus longues.
Une semaine après Meta, Google réplique avec ses systèmes d’intelligence artificielle (IA) capables de transformer des textes en vidéos. La société californienne vient de dévoiler Imagen Video qui, comme son nom l’indique, s’appuie sur les techniques de son IA génératrice d’images, Imagen. À partir d’une simple description textuelle, elle parvient à créer une vidéo de 24 images par seconde affichant une résolution de 1280 x 768 pixels. L’équipe à l’origine de son développement affirme même que l’IA est capable de « créer des vidéos haute définition avec une haute fidélité d’image, une grande cohérence temporelle et une compréhension profonde du langage ». Elle aurait également la capacité de créer des vidéos et des animations de textes dans divers styles artistiques.
Pour y parvenir, Imagen Video a été entraîné avec un ensemble interne de données comprenant 14 millions de paires de vidéos et de textes et 60 millions de paires de textes et d’images. Le système a aussi été formé à l’aide de l’ensemble de données LAION-400M accessible au public, composé de paires d’images et de textes.
Éviter les utilisations abusives
Comme Meta, Google estime que les IA génératrices de vidéos peuvent être utiles en termes de créativité, mais l’entreprise reconnaît qu’elles sont susceptibles d’être exploitées à des fins malveillantes, « par exemple, pour générer de faux contenus haineux, explicites ou préjudiciables ». Plusieurs mesures ont ainsi été prises afin de « minimiser ces préoccupations ». Lors de ses essais internes, l’équipe de recherche a appliqué des filtres pour les descriptions textuelles et les vidéos en résultant. « Nos tests internes suggèrent qu’une grande partie des contenus violents et explicites peuvent être filtrés », indique-t-elle, admettant tout de même qu’il existe toujours des préjugés sociaux et des stéréotypes difficiles à détecter et à filtrer. Considérant qu’il reste plusieurs défis importants au niveau de la sécurité et de l’éthique, Google a décidé de ne pas rendre Imagen Video accessible au public tant que ces préoccupations n’auront pas été atténuées.
Ces craintes sont aussi présentes avec Phenaki, l’autre IA de la firme capable de générer des vidéos. Si Imagen Video donne la priorité à la qualité de l’image, celle-ci se concentre sur la longueur, étant capable de générer des vidéos plus longues avec une suggestion textuelle détaillée comme « Un ours en peluche photoréaliste nage dans l’océan à San Francisco. L’ours en peluche va sous l’eau. L’ours en peluche continue de nager sous l’eau avec des poissons colorés. Un panda nage sous l’eau ». La cohérence et la résolution des vidéos sont cependant de moins bonne qualité.
Malgré cela, l’équipe derrière le développement de Phenaki soutient que le système « peut avoir un impact positif dans une variété de contextes créatifs », permettant – à terme – aux utilisateurs « d’accélérer leur créativité », avec ce modèle qui peut générer rapidement des vidéos.
