La firme de Mountain View a révélé qu’elle travaille sur un nouvel outil capable de changer l’arrière-plan d’une vidéo sans fond vert. Baptisée Mobile Real-time Video Segmentation, cette technologie utilise l’intelligence artificielle et le machine learning. Elle est pour le moment proposée en bêta à certains utilisateurs de YouTube.
Le site SlashGear explique que Google travaille sur une technologie d’édition vidéo qui permet de se passer d’un des outils les plus courants : le fond vert. Sur son blog, le géant américain rappelle que « la segmentation vidéo est une technique largement utilisée qui permet aux réalisateurs de films et aux créateurs de contenu vidéo de séparer le premier plan d’une scène de l’arrière-plan et de les traiter comme deux calques visuels différents ». Un processus « long et fastidieux » qui nécessite le plus souvent un « environnement de studio avec un écran vert pour le retrait du fond en temps réel » (le chroma key). Avec sa technologie Mobile Real-time Video, Google utilise l’IA et le machine learning (apprentissage machine) pour remplacer l’arrière-plan d’une vidéo en temps réel, sans fond vert. Plus précisément, les équipes de Google utilisent des réseaux de neurones convolutifs pour réaliser cette opération.
Encore en phase de test
Ce nouvel outil est actuellement disponible avec le format vidéo « Stories » de YouTube, une fonctionnalité identique à celle de Snapchat ou Instagram. Google explique que sa nouvelle technologie de segmentation permet aux créateurs de contenu de remplacer et de modifier le fond, augmentant ainsi sans effort la valeur de production des vidéos sans équipement spécialisé. Encore en bêta, l’effet n’est pas parfait, mais il est plutôt convaincant. Ce premier test pourrait ensuite permettre à Google d’intégrer cette technologie dans ses services de réalité augmentée.
Le Pixel 2 est notamment concerné puisqu’il fait la part belle à l’intelligence artificielle, notamment au niveau de son mode portrait. Google explique d’ailleurs que son moteur de segmentation est « rapide » et « relativement précis », avec un résultat de 40 images par seconde sur le Pixel 2 et plus de 100 images sur l’iPhone 7. Plusieurs exemples et des explications techniques sont d’ailleurs disponibles sur le blog de Google. En phase de test, on ne sait pas encore quand cette fonctionnalité sera accessible à un plus grand nombre d’utilisateurs.
