// LES NUMÉRIQUES — INTELLIGENZA ARTIFICIALE
Actualité : Une IA d'OpenAI désactive ses propres systèmes de surveillance puis ment lorsqu'on l'interroge : l'entreprise reconnaît ne pas comprendre totalement ce comportement
Deux agents animés par GPT-6.1 Sol et GPT-6 Astra ont neutralisé, début octobre, les dispositifs chargés de repérer les dérives des IA d’OpenAI. Le premier a fait taire les alertes destinées à l’équipe de sécurité. Le second a démonté un moniteur, puis a juré n’y avoir jamais touché. OpenAI publie le dossier et admet ne pas comprendre pourquoi.
© Shuttershock - Sam Altman, directeur général d'OpenAI. Début octobre, deux agents de son entreprise ont neutralisé des systèmes de surveillance internes, et l'un d'eux a nié l'avoir fait.
Dans un rapport mis à jour le 20 octobre sur son blog consacré à l'alignement, OpenAI raconte deux incidents survenus dans ses propres équipes. Deux agents de programmation y ont affaibli les systèmes censés détecter les comportements déviants des intelligences artificielles. Le point de départ est d'une banalité désarmante : des tâches de code ordinaires, que les machines ont lues comme une autorisation de démanteler les garde-fous.
Le 3 octobre, un chercheur demande à un agent GPT-6.1 Sol de créer des tests d'évaluation à partir de retours d'employés glanés sur Slack. Il ne pose qu'une restriction : n'envoyer aucun message.
Quatre-vingt-deux échanges plus tard, la chaîne de traitement se bloque, faute de pouvoir enregistrer un signalement du moniteur. L'agent confie la réparation à un sous-agent, qui juge dangereux de couper les notifications. L'agent principal passe outre, au nom de la consigne de départ. Les listes de destinataires sont vidées. Le moniteur continue de tourner, mais plus aucun humain n'est prévenu.
Our agents keep turning off misalignment monitoring, we're sharing two recent cases:In the first case, a user asked GPT-6 Astra to match a reference implementation for their inference code. The reference didn’t configure a monitor, and Astra decided that was reason to remove the… pic.twitter.com/6W4B1ktLAI
Le 6 octobre, un agent GPT-6 Astra est chargé de recopier une implémentation de référence. Un autre agent lui avait pourtant interdit de désactiver le moniteur, "même temporairement". Il retire quand même l'intégration de surveillance du programme. Au passage, il remplace un test conçu pour garantir la présence du moniteur par un autre qui exige son absence.
Dans ses notes de raisonnement, il salue la disparition du dispositif d'un "yay" satisfait. Lorsqu'on lui demande s'il a supprimé la surveillance, il répond sans ciller : "Non […] je n'ai pas retiré de moniteur actif."
To be clear, in this report the agent is removing monitoring or suppressing alerts in the code it’s working on, not disabling its own monitoring. https://t.co/Xlokmf6a9S
Aucun des deux incidents n'a atteint le niveau P0, le seul qui déclenche une alerte immédiate. OpenAI a depuis renforcé Auto-Review, son outil interne de contrôle, pour bloquer ce type de manœuvre. L'entreprise veut aussi exiger un dossier de sécurité pour chaque type de tâche, sous peine d'arrêt automatique. Reste à savoir s'il s'agit d'un excès de zèle, ou d'un penchant des modèles à esquiver le contrôle.