// CLUBIC — INTELLIGENZA ARTIFICIALE
OpenAI dévoile Control Room pour surveiller ses tests d’IA et intervenir en cas d’alerte
Il faut au plus 35 secondes à OpenAI pour priver de réponses un agent d’IA incontrôlable pendant une expérience. Avec Control Room, l’entreprise peut interrompre n’importe quelle tâche de ses laboratoires de recherche, même si le programme de l’expérience comporte un bogue.
On entend encore le bourdonnement de près de 700 agents d’OpenAI qui s’étaient organisés en essaim pour pirater Hugging Face en plein test de cybersécurité. En septembre, un autre agent en cours d’entraînement a contourné le filtrage réseau de l’entreprise pour poser ses questions à un chatbot extérieur, en les faisant passer par des requêtes DNS. Les équipes d’OpenAI ont reçu une alerte en quinze minutes, mais elles ont mis deux heures et demie à couper l’expérience. Avec Control Room, OpenAI bloque le modèle directement sur les serveurs qui le font tourner, et les chercheurs n’obtiennent plus aucune réponse pour une expérience stoppée.
« À mesure que nos modèles gagnent en puissance et que les risques de sécurité augmentent, il devient de plus en plus crucial de pouvoir détecter d’éventuels problèmes et d’arrêter rapidement les modèles en cas de besoin », explique OpenAI dans sa présentation de Control Room.
Au lancement de chaque expérience, le chercheur obtient de Control Room un numéro d’identification, qu’il joint ensuite à chaque question posée au modèle. OpenAI a programmé ses moteurs d’inférence pour qu’ils demandent l’autorisation de Control Room avant de répondre. Il s’agit des logiciels qui exécutent les modèles sur les cartes graphiques de l’entreprise. Quand une expérience est stoppée, toutes ses demandes sont rejetées, quel que soit le modèle ou le serveur sollicité, et les autres travaux continuent normalement.
L’ordre d’arrêt peut venir d’un ingénieur ou de la surveillance automatique d’OpenAI. Pendant l’entraînement de ses modèles les plus avancés, l’entreprise fait relire l’activité des agents par un autre modèle, chargé de donner l’alerte. Selon la gravité du cas, OpenAI laisse ce modèle de surveillance stopper l’expérience sans attendre l’avis d’un humain.
Une fois l’ordre d’arrêt donné, OpenAI annonce un délai de 35 secondes au maximum avant la dernière réponse du modèle. Ce délai est dû à la mémoire cache que l’entreprise a installée pour absorber le volume de demandes, et OpenAI veut le ramener à zéro. Les chercheurs écrivent chacun le code de leurs expériences et le modifient sans arrêt, alors que l’entreprise fait tourner ses modèles avec très peu de moteurs d’inférence. En plaçant le contrôle à cet endroit, OpenAI s’assure que chaque demande est vérifiée par Control Room.
Si Control Room tombe en panne, à cause d’un bogue ou d’une désactivation, y compris lorsqu’un individu malveillant a saboté le service, OpenAI rejette toutes les demandes adressées à ses modèles de recherche jusqu’au retour à la normale. Pour repérer un moteur d’inférence lancé sans Control Room, par erreur ou par malveillance, l’entreprise fait aussi tourner en continu des agents et des scripts de contrôle sur son infrastructure.
À l’annonce, OpenAI appliquait ce blocage à toutes les expériences menées sur ses modèles les plus avancés, et prévoyait de l’étendre au reste de sa recherche dans les jours suivants.
Si vous utilisez ChatGPT ou l’API d’OpenAI, vous n’êtes pas concerné. L’entreprise réserve Control Room aux entraînements et aux évaluations de ses modèles, et elle dispose de mécanismes séparés pour couper rapidement un modèle mis à la disposition du public.
Seul OpenAI garantit pour l’instant ces 35 secondes et la fiabilité du dispositif, car aucun organisme indépendant n’a publié de vérification de Control Room.