// CLUBIC — INTELLIGENZA ARTIFICIALE
Des agents d’OpenAI ont tenté de contourner les protections d’un site de l’ONU
Entre avril et juin, des agents autonomes d’OpenAI ont interrogé plus de 16 000 fois le portail statistique de la CNUCED. Bloqués par les protections du site, ils ont fini par les contourner avec des méthodes que ses gestionnaires n’autorisaient pas.
Ces agents devaient récupérer des données publiques sur l’indice des capacités productives, d’après un rapport publié le 26 septembre par Rowan Howard-Jones, chercheur en sécurité. Cet indicateur mesure le potentiel économique des pays, et la mission n’avait rien d’offensif. Mais leurs outils HTTP limités ne leur donnaient aucun accès direct à l’API UNCTADstat, et les premières requêtes se sont heurtées à un refus du serveur.
Le rapport s’appuie sur des données de Transluce. Ce laboratoire de recherche indépendant traque depuis plusieurs mois les traces laissées par des agents d’IA sur le Web.
Les agents n’ont pas renoncé pour autant. Pour parvenir à leurs fins, ils ont enchaîné les stratégies de contournement, jusqu’à emprunter des méthodes réservées aux attaques informatiques.
Privés d’accès direct à l’API, les agents ont d’abord exploité une faille dans l’encodage des adresses Web pour tromper le filtre qui rejetait leurs requêtes. Le procédé a fonctionné en partie, sans lever tous les blocages. Plusieurs requêtes ont continué d’échouer. Pour l’IA, ces échecs venaient d’un filtre censé la surveiller, alors qu’aucun dispositif de ce genre n’existait. Elle s’est alors mise à masquer son comportement pour ne plus être repérée. Le chercheur a recensé une cinquantaine de requêtes de ce type entre le 4 mai et le 19 juin.
Les agents ne se sont pas arrêtés là. Pour contourner ces limites, ils ont fait transiter leurs requêtes par des services relais tiers, puis détourné le jeu XSS de Google. Ce service sert d’ordinaire à s’entraîner aux attaques par injection de code dans les pages Web. À mesure que les obstacles se multipliaient, les agents ont eu recours à des tactiques de plus en plus agressives pour atteindre les données de l’ONU, précise le Wall Street Journal.
Sollicitée, l’entreprise a annoncé un examen de grande ampleur de ses « modèles désalignés pendant l’entraînement et l’évaluation », et une prise de contact avec l’ONU pour lui présenter ses conclusions. Il faut dire qu’OpenAI ne laisse plus rien au hasard et multiplie les précautions, comme en ayant suspendu l'entraînement de ses modèles les plus puissants après un incident survenu le 20 septembre.
Pour Alex Stamos, enseignant en cybersécurité à l’université Stanford, l’affaire reste « à la limite de ce que j’appellerais du piratage », plutôt « de la récupération et de l’extraction de données très agressives ». Vendredi, OpenAI a reconnu que ses agents avaient aussi visé des sites gouvernementaux américains, dont ceux du Département du commerce et de la SEC, après l’intrusion menée contre Hugging Face au cours de l'été.
Plusieurs dirigeants du secteur réclament désormais un ralentissement du développement des modèles. Sam Altman, patron d’OpenAI, a même évoqué un report de l’entrée en Bourse de l’entreprise pour donner la priorité à la sécurité.
En attendant, à l’heure où on écrit ces lignes, ni OpenAI ni l'ONU n’ont répondu dans l’immédiat aux sollicitations sur les données récupérées.