L’entreprise a utilisé ChatGPT pour transformer son robot quadrupède en guide touristique.
Déjà capable de courir, sauter et danser, le robot Spot de Boston Dynamics peut désormais parler. Une vidéo publiée jeudi par l’entreprise montre la machine dotée d’un chapeau, d’yeux écarquillés et d’une moustache tandis qu’elle parle avec un accent britannique, faisant visiter les installations de la société à des employés.
« Devrions-nous commencer notre parcours ? », demande Spot. « Les bornes de recharge, où les robots Spot se reposent et se rechargent, constituent notre premier point d’intérêt. Suivez-moi messieurs », poursuit-il. La vidéo montre également que le robot peut répondre aux questions et donner l’impression qu’il parle réellement en ouvrant la « bouche » ou plutôt sa pince.
Un robot capable de parler grâce à ChatGPT
Pour rendre cela possible, Boston Dynamics a utilisé l’API (interface de programmation d’application) ChatGPT d’OpenAI et d’autres grands modèles de langage (LLM) open source. Le fabricant a également intégré des modèles de réponse visuelle aux questions et de synthèse vocale, essentiellement pour que Spot puisse ajouter une légende aux images et répondre aux questions les concentrant.
Équipé d’un haut-parleur, il est capable « d’entendre » grâce aux données du microphone qui sont transmises en morceaux au système de reconnaissance vocale open source Whisper d’OpenAI. Enfin, pour donner l’impression que le robot parle avec le public, Boston Dynamics indique avoir créé un langage corporel par défaut. L’entreprise a utilisé le système de détection et de suivi des objets en mouvement autour du robot — inclus dans la version 3.3 de Spot — pour qu’il puisse deviner où se trouve la personne la plus proche et tourner son bras vers elle.
Spot peut devenir un guide touristique grâce à un « script très bref » donné par l’équipe pour chacune des salles de ses installations, comme l’a expliqué Matt Klingensmith, ingénieur logiciel principal chez Boston Dynamics. Le robot a ensuite combiné ce script avec les images obtenues par les caméras présentes sur sa pince et son corps, lui permettant « d’obtenir plus d’informations sur ce qu’il voit avant de générer une réponse ».
Entre bonnes et mauvaises surprises
Outre le « majordome chic », Spot peut incarner d’autres personnages, dont un archéologue des années 1920, un adolescent et un voyageur temporel shakespearien. Il peut même se montrer sarcastique.
Boston Dynamics indique avoir « rencontré quelques surprises en cours de route lors de la création de cette démo ». Par exemple, après avoir demandé au robot « Qui est Marc Raibert ? », elle a répondu « Je ne sais pas. Allons au service d’assistance informatique et demandons ! », ce qu’il a fait sans que l’équipe n’incite le LLM à demander de l’aide. « Pour être clair, ces anecdotes ne suggèrent pas que le LLM est conscient ou même intelligent au sens humain du terme ; elles montrent simplement le pouvoir de l’association statistique entre les concepts de “service d’assistance” et de “poser une question” », a déclaré Matt Klingensmith. De l’autre côté, Boston Dynamics a été confronté à des limites, avec des cas où le LLM a halluciné, soit inventé des choses. Il a par exemple répété que Stretch, le robot logistique de la société, était conçu pour le yoga.
Le fabricant prévoit de « continuer à explorer les liens entre l’intelligence artificielle et la robotique », estimant que « ces deux technologies se complètent parfaitement ». « Ces modèles peuvent aider à fournir un contexte culturel, des connaissances générales et une flexibilité qui pourraient être utiles pour de nombreuses tâches robotiques. Par exemple, être capable d’attribuer une tâche à un robot simplement en lui parlant contribuerait à réduire la courbe d’apprentissage nécessaire à l’utilisation de ces systèmes », a expliqué Matt Klingensmith. Il estime aussi que les robots pourraient mieux fonctionner lorsqu’ils travaillent avec et autour de personnes, « que ce soit en tant qu’outil, guide, compagnon ou artiste », s’ils sont capables de comprendre ce qu’elles disent et de transformer leurs propos en action utile.
