Des prédateurs sexuels se servent d’outils d’intelligence artificielle générative pour créer de faux contenus d’abus sexuels sur des mineurs. Ils se partagent aussi des conseils pour éviter d’être détectés.
Utilisées pour créer de fausses informations, les intelligences artificielles (IA) génératives comme Midjourney ou Dall-E inquiètent aussi face au risque accru d’abus par les prédateurs sexuels. Capables de générer des images de plus en plus réalistes, ces technologies sont en effet exploitées par ces derniers pour partager de faux contenus pédopornographiques sur Internet, révèle Bloomberg.
Les utilisateurs d’un forum important sur la prédation des enfants ont par exemple partagé 68 images pédopornographiques générées artificiellement au cours des quatre premiers mois de l’année, a indiqué Avi Jager, un responsable de la startup de modération de contenu ActiveFence. Un chiffre était en hausse par rapport aux quatre derniers mois de 2022, période où il ne s’élevait qu’à 25.
Un futur problème pour les plateformes
Si plusieurs entreprises à l’origine de ces outils d’IA ont mis en place des mesures (blocage de certains mots problématiques, etc.) pour éviter la génération de contenus dangereux et inappropriés, celles-ci ne sont pas infaillibles. Les internautes trouvent en effet des moyens de les contourner. Bloomberg a par exemple repéré un forum pédophile proposant un guide pour générer de faux contenus pédopornographiques avec l’IA Stable Diffusion de Stability AI, qui a pourtant pris « de nombreuses mesures pour atténuer considérablement le risque d’exposition au contenu Not Safe For Work (nudité, pornographie, violence, etc., ndlr) de ces modèles » au cours des derniers mois, comme l’a déclaré Motez Bishara, directeur des communications de la société.
Selon Avi Jager, des internautes se partagent des conseils pour contourner ces mesures, recommandant notamment de taper les mots-clés dans d’autres langues que l’anglais vu qu’elles sont moins bien modérées.
L’utilisation de ces systèmes pour générer ce type d’images survient alors que des milliers de contenus pédopornographiques sont déjà signalés chaque jour. L’année dernière, le Centre national pour les enfants disparus et exploités (NCMEC) – organisme de protection de l’enfance – a reçu plus de 32 millions de signalements de cas d’abus sexuels d’enfants en ligne. Et la majorité de ces rapports concernait des contenus pédopornographiques.
Si, pour le moment, le NCMEC n’a pas détecté de hausse massive d’images de ce type générées artificiellement, l’organisme estime que ce problème va s’aggraver. Sa responsable juridique, Yiota Souras, a averti que les plateformes sont sur le point d’être confrontés à une vague d’images d’abus sexuels créées par des IA. Raison pour laquelle le NCMEC est en discussion avec les législateurs américains et les plateformes pour discuter de la méthode à adopter face au potentiel « déluge » de contenus pédopornographiques. À noter que la génération de telles images n’est pas illégale aux États-Unis, contrairement à d’autres pays, dont la France et le Royaume-Uni.
