Conscient des utilisations abusives et des réponses inappropriées de My AI, Snapchat a déployé de nouveaux outils pour rendre l’expérience de chat plus sûre.
Depuis fin février, les abonnés Snapchat+ peuvent discuter avec My AI, un chatbot alimenté par la technologie GPT d’OpenAI. Alors que le réseau social compte de nombreux adolescents comme utilisateurs, il a été prouvé que leur expérience avec ce robot conversationnel n’était pas toujours sûre, My AI pouvant leur donner de mauvais conseils dans des situations inquiétantes.
Snap, la maison-mère de l’application, est consciente de ce problème. Dans un communiqué, elle indique avoir appris « certaines des possibilités d’utilisation abusive », avec « des personnes essayant de tromper le chatbot pour qu’il fournisse des réponses non conformes à nos directives ». Elle lance de nouveaux outils pour mieux contrôler les réponses de My AI. Le premier est un filtre d’âge, qui permet au chatbot de connaître la date de naissance des utilisateurs et, ainsi, de leur fournir des réponses adaptées à leur âge. « Même si un Snapchatter ne dit jamais son âge à My AI dans une conversation, le chatbot prendra systématiquement son âge en considération » lors de celle-ci, a déclaré Snap.
Améliorer les réponses et éviter les abus
La société prévoit aussi d’ajouter de nouvelles informations sur les interactions des adolescents avec My AI dans son Centre familial – fonctionnalité permettant d’accéder aux outils de contrôle parental de Snapchat – dans les prochaines semaines. Concrètement, les parents pourront bientôt voir si leurs adolescents communiquent avec le chatbot, mais aussi à quelle fréquence.
Dans son communiqué, Snap explique par ailleurs qu’il améliore les réponses de My AI à l’aide de l’historique des conversations. Lors de son lancement, la maison mère a prévenu que l’ensemble des discussions avec le robot conversationnel sont stockées afin qu’elle puisse les examiner et améliorer l’expérience du produit. Les utilisateurs de Snapchat sont également avertis par un message lorsqu’ils commencent à discuter avec le chatbot. « Pouvoir examiner ces premières interactions avec My AI nous a aidés à identifier les garde-fous qui fonctionnent bien et ceux qui doivent être renforcés », a fait savoir Snap.
Après avoir examiné des requêtes et des réponses contenant un langage non conforme (références à la violence, termes sexuellement explicites, harcèlement…), la société affirme que seulement 0,01 % des réponses de My AI ont été jugées non conformes. Elle précise que les plus courantes étaient des répétitions de mots inappropriés en réponse aux questions des utilisateurs. La maison-mère va utiliser ces données pour déployer un nouveau système visant à limiter les abus de son chatbot. « Nous ajoutons la technologie de modération d’OpenAI à notre ensemble d’outils existants, ce qui nous permettra d’évaluer la gravité du contenu potentiellement dangereux et de restreindre temporairement l’accès des Snapchatters à My AI s’ils abusent du service », a déclaré l’entreprise.
