Non seulement ces applications ne protègent pas les informations personnelles de leurs utilisateurs, mais elles les encouragent aussi à les partager, selon la Mozilla Foundation.
Plusieurs célibataires se tournent vers l’intelligence artificielle (IA) pour vivre une histoire d’amour, mais ils devraient éviter. Selon la Mozilla Foundation, les chatbots « romantiques » collectent beaucoup de données personnelles. À l’occasion de la Saint-Valentin, l’organisation à but non lucratif a examiné 11 de ces agents conversationnels, qui ont cumulé environ 100 millions de téléchargements sur le Play Store de Google au cours des 12 derniers mois.
Ils ont tous écopé du badge *Confidentialité non incluse, aucun ne garantissant de conditions de confidentialité et de sécurité appropriées. « Pour le dire clairement, les petites amies et les petits amis basés sur l’IA ne sont pas vos amis. Bien qu’i.e.ls soient présenté.e.s comme quelque chose qui pourrait améliorer votre santé mentale et votre bien-être, ils ne font que créer un sentiment de dépendance, de solitude et de toxicité, tout en essayant de collecter autant de données que possible à votre sujet », alerte Misha Rykov, chercheur chez Mozilla, dans un article de blog.
Une énorme collecte de données
Parmi les chabots « romantiques » passés en revue par l’organisation, figure notamment Replika. Fondée avec l’idée de créer une IA personnelle permettant aux individus de partager entre autres leurs sentiments et leurs pensées dans des conversations, cette application se présente sous la forme d’un.e ami.e virtuel.le compatissant.e et empathique.
Alors que des utilisateurs s’en servent pour avoir des discussions romantiques et à caractère sexuel, elle présente de nombreuses lacunes en matière de confidentialité et de sécurité. « L’application enregistre tous les textes, photos et vidéos publiés par les utilisateurs.trices ; leurs données comportementales sont également partagées (et nous soupçonnons même qu’elles soient vendues) avec des annonceurs », met en garde la Mozilla Foundation.
Les utilisateurs et utilisatrices ont ainsi peu de contrôle sur leurs données. Pire encore, sur les 11 chatbots examinés, seule une entreprise, Genesia AI, leur permet de s’opposer à l’utilisation de leurs informations personnelles pour entraîner les modèles d’IA.
Un pouvoir de manipulation inquiétant
Les chercheurs de l’organisation accusent également ces agents conversationnels d’user de stratégies marketing trompeuses, en se présentant comme des plateformes de santé mentale et de bien-être, alors que leurs politiques de confidentialité indiquent tout le contraire. Romantic AI assure par exemple qu’il « est là pour prendre soin de votre santé mentale » tandis que dans ses conditions générales, il affirme qu’il « n’est pas un prestataire de santé et ne fournit pas de soins médicaux, de services de santé mentale ou encore d’autres services professionnels de santé ».
Si ces IA collectent énormément de données et induisent les utilisateurs et utilisatrices en erreur, le pire pour la Mozilla Foundation est leur « pouvoir de manipulation ». « Qu’est-ce qui empêche des personnes mal intentionnées de créer des chatbots conçus pour connaître leurs âmes sœurs, et de se servir ensuite de cette relation pour les manipuler afin qu’elles fassent des choses terribles, adoptent des idéologies effrayantes, se fassent du mal ou encore fassent du mal à autrui », s’interroge Jen Caltrider, directrice de *Confidentialité non incluse. Raison pour laquelle la Mozilla Foundation estime que ces agents conversationnels doivent offrir une meilleure transparence et un meilleur contrôle à leurs utilisateurs et utilisatrices.
