Des membres du forum anonyme en ligne 4chan se sont servis de la technologie d’ElevenLabs pour générer de fausses voix ressemblant à Emma Watson et à d’autres célébrités, leur faisant tenir des propos racistes, transphobes, homophobes et violents.
Permettant de créer des images, du texte ou encore des voix, l’intelligence artificielle (IA) générative est utile à bien des égards. Ces systèmes peuvent aussi être utilisés à des fins malveillantes. Tel a été le cas avec ElevenLabs. Fondée en 2022 par d’anciens employés de Google et de Palantir, cette société de recherche sur les technologies vocales veut « faire du support audio multilingue à la demande une réalité dans l’éducation, le streaming, les livres audio, les jeux, les films et même les conversations en temps réel ».
Sur son site, elle propose des outils de synthèse vocale et de clonage de la voix. Lundi, elle a indiqué avoir trouvé « un nombre croissant de cas d’utilisation abusive du clonage de la voix », après avoir lancé une version bêta de sa technologie. ElevenLabs ne va pas plus loin dans les détails, mais selon le site Motherboard, l’outil de l’entreprise a été utilisé pour générer des voix ressemblant à des célébrités, afin de leur faire dire des choses racistes, transphobes, homophobes et violentes.
De futures mesures pour éviter les utilisations abusives
Ces deepfakes vocaux ont été publiés dimanche sur le forum anonyme en ligne 4chan. Parmi eux figure par exemple une voix ressemblant à celle d’Emma Watson, lisant un extrait du livre Mein Kampf d’Adolf Hitler. Une autre fait penser que Rick Sanchez – de la série animée Rick & Morty – déclare qu’il va battre à mort sa femme Morty. Cela, alors que la chaîne américaine Adult Swim vient de rompre son contrat avec le cocréateur Justin Roiland, actuellement accusé de violences conjugales. Dans un autre cas, une personne disant que « les droits des trans sont des droits humains » est étranglée.
Motherboard précise qu’une publication sur le forum comprenant plusieurs de ces clips incluait aussi un lien vers la version bêta de la technologie d’ElevenLabs, suggérant que l’outil de l’entreprise a été utilisé pour générer ces voix.
Mettant déjà en œuvre « des garanties appropriées » pour minimiser les risques d’utilisation abusive, la société a fait savoir qu’elle explorait « des mesures de protection supplémentaires » pour résoudre ce problème de deepfakes vocaux. Elle affirme par exemple être capable de retracer tout fichier audio généré à un utilisateur spécifique. Parmi les mesures supplémentaires envisagées, ElevenLabs pense à exiger des informations de paiement ou une vérification complète de l’identité pour utiliser son outil de clonage vocal ou encore à vérifier manuellement chaque demande de clonage.
