Pourton.info 
Une Menace Inattendue
Les avancées rapides de l’intelligence artificielle (IA) ont ouvert de nouvelles perspectives passionnantes dans le domaine de la génération d’images à partir de texte. Des modèles de pointe, tels que DALL-E 3, Midjourney et Stable Diffusion, sont capables de créer des images réalistes en se basant sur des descriptions textuelles. Cependant, une menace sournoise se profile à l’horizon : Nightshade.
La Manipulation des Données d’Entraînement
Pour que ces modèles d’IA générative puissent fonctionner de manière optimale, ils nécessitent un vaste ensemble de données d’entraînement composé de millions de paires texte-image. Pendant le processus d’entraînement, le modèle prend du texte en entrée et génère une image correspondante. La qualité des images produites est évaluée en les comparant à de vraies images associées aux descriptions textuelles fournies. Le modèle ajuste ensuite ses paramètres internes pour améliorer ses prédictions, grâce à un algorithme d’apprentissage automatique.
Le véritable défi réside dans la qualité des données d’entraînement. Les modèles ont besoin de données diversifiées pour obtenir des résultats optimaux. Cependant, lors du rassemblement de ces données, il arrive souvent que des images protégées par le droit d’auteur soient capturées, intentionnellement ou non, par les entreprises qui développent ces modèles.
Nightshade : L’Outil de Subversion Silencieuse
Afin de protéger les artistes indépendants contre ces pratiques inquiétantes, une équipe de chercheurs du département informatique de l’Université de Chicago a mis au point Nightshade. Cette technique astucieuse est capable de corrompre subtilement les images publiées sur le web. Si ces images venaient à être intégrées dans les données d’entraînement des modèles texte vers image, elles induiraient une distorsion des performances de ces modèles.
Nightshade altère discrètement la manière dont un modèle d’IA interprète une image. Il effectue des modifications minimes mais stratégiques sur les pixels de l’image, de sorte que l’image soit interprétée différemment de ce qu’elle représente réellement. Ces changements sont complètement invisibles à l’œil humain. Par exemple, une image qui semble représenter un loup pour un observateur humain pourrait être interprétée par le modèle d’IA pendant son entraînement comme une image de voiture. Ainsi, le modèle, qui ajuste automatiquement ses paramètres en fonction des données d’entraînement, applique des corrections incohérentes. Cela peut entraîner une baisse de précision et d’efficacité, notamment pour les concepts visés par les données trafiquées.
Une Arme Dangereuse
Nightshade présente un danger réel pour les modèles de génération texte vers image, en particulier pour celui de Stable Diffusion (SDXL). Il suffit de quelques images trafiquées pour significativement réduire les performances d’un modèle. En moyenne, les attaques Nightshade réussissent en injectant des données corrompues ne représentant que 2% des données d’entraînement associées au concept ciblé.
L’ampleur de l’attaque est telle qu’il n’existe actuellement aucune technique véritablement fiable pour la contrer. Cependant, les chercheurs envisagent plusieurs pistes pour résister à Nightshade. L’une d’entre elles consiste à ajuster le modèle pendant l’entraînement pour qu’il élimine les images entraînant des modifications anormalement élevées. Une autre approche pourrait être que les éditeurs de modèles d’IA tentent de rétro-ingénierer Nightshade pour développer un détecteur et corriger les images altérées. Cette course contre la montre entre les développeurs de modèles et les pirates de l’IA s’annonce épique.
Vers l’Open Source
Les chercheurs prévoient de rendre Nightshade open source, dans le but de contribuer au débat sur l’utilisation des images publiées sur le web. Ils estiment que les attaques par empoisonnement pourraient avoir une valeur potentielle en incitant les créateurs de modèles et les détenteurs de contenus à négocier l’acquisition sous licence de données d’entraînement pour les futurs modèles.
En conclusion, Nightshade représente une menace inattendue pour les modèles d’IA texte vers image, mettant en lumière la nécessité de renforcer la sécurité des données d’entraînement dans le domaine de l’IA générale.
