Appelé Nightshade, il permet aux artistes de lutter contre l’utilisation de leurs œuvres pour entraîner les IA génératrices d’images en empoisonnant ces données de formation.
À l’heure où plusieurs artistes reprochent aux entreprises du secteur de l’intelligence artificielle (IA) d’utiliser leurs œuvres pour entraîner leurs systèmes sans consentement ni compensation, des chercheurs veulent les aider à protéger leur travail avec un nouvel outil. Appelé Nightshade, il leur permet d’ajouter des modifications invisibles aux pixels de leurs créations avant de les publier sur Internet, empoisonnant ainsi les données d’entraînement et affectant les performances des IA génératrices d’images comme Dall-E, Midjourney et Stable Diffusion.
Concrètement, avec cet outil, les chats deviennent des chiens, les voitures deviennent des vaches et les sacs à main sont transformés en grille-pains, comme l’indique le MIT Technology Review, qui a obtenu un aperçu exclusif à l’étude. Testé avec Stable Diffusion, les performances de l’IA ont commencé à être affectées avec 50 images de chiens empoisonnées, générant notamment des créatures avec trop de membres. Avec 300 échantillons empoisonnés, elle a généré des images de chiens ressemblant à des chats.
Deux outils pour aider les artistes
Les chercheurs ont également exploité la capacité des modèles à établir des liens entre des mots pour infecter tout un champ sémantique à partir d’un seul terme. Ainsi, viser le mot « chien » permet aussi d’en infecter d’autres étant similaires, tels que « chiot », « husky » et « loup ». Nightshade fonctionne par ailleurs avec des images tangentiellement liées. L’utilisation d’une image empoisonnée par un modèle d’IA pour le prompt « art fantastique » l’affecterait par exemple aussi pour les prompts « dragon » et « un château dans Le Seigneur des Anneaux ».
Avant Nightshade, les chercheurs ont conçu un autre outil pour aider les artistes : Glaze. Fonctionnant de manière similaire, il permet de recouvrir une œuvre avec une autre ayant une composition similaire. Une modification invisible à l’œil nu mais détectable par les IA. L’équipe prévoit d’intégrer son nouvel outil dans Glaze pour que les artistes puissent utiliser les deux. Ils ont aussi rendu Nightshade en open source, encourageant d’autres développeurs à créer leurs propres versions et ainsi, à rendre l’outil plus puissant.
Avec celui-ci, Ben Zhao, professeur à l’Université de Chicago, qui a dirigé l’équipe, espère contribuer à faire pencher la balance du pouvoir en faveur des artistes. Il reconnaît tout de même qu’il existe un risque d’utilisation malveillante de cette technique d’empoisonnement des données. Il estime cependant que dans un tel cas, il serait nécessaire de disposer de milliers d’images empoisonnées afin d’infliger de réels dégâts aux modèles d’IA plus grands et plus puissants vu que ces derniers sont entraînés sur des milliards de données.
