La fonctionnalité permettant de montrer ce qu’il se passe autour de soi à Gemini avec les caméras de son smartphone est en cours de déploiement.
Une nouveauté annoncée il y a quelque temps, dans le cadre de l’énigmatique Projet Astra, qui commence à s’inviter sur le smartphone de certains internautes abonnés à la formule Google One AI Premium.
L’IA pour analyser son environnement
Intégrée dans le paquet de fonctionnalités de Gemini Live, la version vocale de l’intelligence artificielle de Google, l’option Vidéo permet d’utiliser les appareils photo de son téléphone pour montrer les alentours à l’IA et de converser avec elle, par exemple pour lui poser des questions concrètes sur un monument, sur une couleur ou même sur plusieurs vêtements entre lesquels on hésite.
Pour le moment, cette feature en cours de déploiement est réservée aux abonnés payants de Gemini. En revanche, et comme Gemini Live, il y a de fortes chances qu’elle finisse par être rendue accessible à toutes et tous. Cela semble d’ailleurs être le cas de toutes les fonctionnalités liées à l’IA ; payer ne fait qu’offrir un accès anticipé à certaines options novatrices. Preuve de l’ouverture de Google : on peut désormais utiliser Gemini sans avoir à se connecter à son compte.
De la lecture d’écran par IA
Toujours dans cette idée d’offrir la vue à l’intelligence artificielle, Google commence à déployer la fonction de partage d’écran avec Gemini. Sur Reddit, un utilisateur fait la démonstration de cette nouvelle option sur un smartphone Xiaomi. Dans cette courte mise en situation, on assiste à une session Gemini Live dans laquelle l’utilisateur interroge l’IA sur ce qui se trouve sur l’écran d’accueil de son téléphone.
L’intelligence artificielle liste les différentes applications, indique la présence d’une notification et peut répondre à des questions additionnelles sur le contenu de l’écran. En revanche, des limites apparaissent également : lorsque l’internaute demande à Gemini de lancer une vidéo sur YouTube (application non présente à l’écran), l’IA admet ne pas en être capable et ne servir qu’à brainstormer des idées à l’oral relatives au contenu affiché à l’écran.
Gemini, désormais officiellement remplaçante de Google Assistant sur les smartphones Android, va prendre de plus en plus d’importance sur ces appareils au fil des mois. Sur les derniers Samsung Galaxy S25, il permet déjà d’agir au sein d’applications variées sans avoir à les ouvrir au préalable.
À lire aussi
