// CLUBIC — INTELLIGENZA ARTIFICIALE
Pourquoi il devient presque impossible de retrouver l'origine d'une image générée par IA
Une étude du MIT établit qu’au-delà d’un certain volume de données d’entraînement, une image produite par un modèle de diffusion ne peut plus être reliée avec certitude à une œuvre ou une personne identifiable. Cette découverte met à mal la preuve retenue par des artistes en procès contre des entreprises d’intelligence artificielle.
Zheng Dai et David Gifford sont chercheurs au Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT. Ils ont construit vingt-quatre modèles de diffusion, la famille de systèmes derrière Stable Diffusion ou Midjourney, à partir de jeux de données de 256 à plus de 160 000 images. Pour chaque modèle, les deux chercheurs ont retiré une image d’entraînement à la fois, puis mesuré l’écart entre le résultat obtenu et celui produit sans cette image. Ce « rayon contrefactuel » rétrécit à mesure que le jeu de données grossit, au point de s’annuler pour quatorze images sur un lot de 3 731 tirées de la base MNIST, la référence de 70 000 images en niveaux de gris représentant des chiffres écrits à la main (de 0 à 9)
. Ce mécanisme, « attribution decay », est décroissance de la capacité à remonter jusqu’à la source d’entraînement.
Le rayon contrefactuel obéit à une loi de puissance inverse, avec un coefficient de détermination de 0,85 pour la distance géométrique entre images et une significativité statistique de p < 10⁻⁵.
Les deux chercheurs confirment cette tendance par un second test, mené cette fois avec un réentraînement complet plutôt qu’avec le « simple » retrait d’une image, avec une significativité de p < 10⁻⁴. Autrement dit, doubler le nombre de photos d’entraînement ne divise pas la trace de chacune par deux, et la chute est beaucoup plus rapide. Zheng Dai, doctorant au CSAIL et coauteur de l’étude, a comparé cette dynamique à l’échelle des outils commerciaux dans les colonnes de Gizmodo, car Stability AI, Midjourney ou OpenAI entraînent leurs générateurs sur des ensembles de plusieurs ordres de grandeur supérieurs à ceux testés au MIT, de sorte qu’une traçabilité est d’autant plus improbable à cette échelle. Les chercheurs observent ce déclin aussi bien pour les visages humains que pour les œuvres d’artistes, avec une probabilité de relier une image générée à son auteur d’origine en baisse, à une significativité de p < 10⁻²².
Comme on s'en faisait l'écho à l'époque, la dessinatrice Sarah Andersen a assigné Stability AI, Midjourney et DeviantArt en janvier 2023, avec le soutien du cabinet Joseph Saveri, pour avoir entraîné leurs modèles sur environ cinq milliards d’images tirées de la base LAION sans autorisation des auteurs. Un tribunal fédéral américain ouvrira ce procès le 8 septembre, après le rejet par le juge William Orrick de la demande de non-lieu des défendeurs, en août 2024. Ce jugement dépend, selon le magistrat, de la preuve qu’une œuvre protégée se retrouve sous une forme identifiable dans le système d’IA visé. Selon l’étude du MIT, une telle preuve est presque impossible à apporter pour des modèles entraînés sur un tel volume de données.
Au-delà d’un certain volume de données d’entraînement, cette attribution rétroactive est irréalisable, selon les deux chercheurs du MIT. En parallèle, Microsoft, Adobe, Google, OpenAI et Meta ont choisi de marquer chaque image dès sa création, au sein de l’alliance C2PA. Microsoft associe à chaque image de Paint un identifiant de seize octets, inscrit à la fois dans les pixels via la technologie InvisMark et dans un manifeste de métadonnées cryptographiquement signé, alors que Meta a développé son propre système, Content Seal, et qu’OpenAI a retenu SynthID, conçu par Google.
Des chercheurs de l’université du Maryland ont toutefois supprimé ces filigranes grâce à une technique de purification par diffusion, et sur des forums spécialisés, des utilisateurs assurent retirer ce type d’étiquette en une trentaine de secondes, à l’aide de services en ligne dédiés ou d’une simple capture d’écran suivie d'un agrandissement.