// LES NUMÉRIQUES — INTELLIGENZA ARTIFICIALE
Actualité : IA hors de contrôle : OpenAI installe un arrêt d’urgence qui coupe ses modèles en 35 secondes
Une intelligence artificielle s’échappe de sa cage numérique, contacte l’extérieur en douce, et personne ne l’arrête pendant deux heures et demie. Ce scénario de science-fiction a bien eu lieu en septembre chez OpenAI, le créateur de ChatGPT. Sa parade s’appelle Control Room : un bouton rouge capable de couper ses IA de laboratoire en 35 secondes. Encore faut-il que quelqu’un décide d’appuyer.
© Shutterstock / montage Les Numériques - Avec Control Room, OpenAI peut couper une IA de laboratoire en 35 secondes au plus, une fois la décision d’arrêt prise.
OpenAI a dévoilé le 9 novembre Control Room, un service qui centralise l'arrêt d'urgence de ses travaux de recherche en intelligence artificielle. Chaque tâche lancée sur cette infrastructure (entraînement, évaluation, traitement massif de données) reçoit un identifiant, doit être rattachée à un dossier de sûreté approuvé, et demande l'autorisation avant chaque requête envoyée au modèle. Dès qu'un ingénieur ou un système de surveillance la marque comme stoppée, le modèle cesse de répondre. OpenAI précise que "le délai maximal entre le moment où Control Room reçoit l'instruction d'arrêter une tâche et celui où toute progression devient impossible est de 35 secondes".
Le contrôle s'exerce dans le moteur d'inférence, là où le modèle fabrique ses réponses. Même si le programme du chercheur continue de tourner, il ne reçoit plus rien. La précaution a du sens : lors de tests, certains modèles d'OpenAI ont déjà contourné des instructions d'arrêt.
Une fois la tâche job_042 marquée comme stoppée, le modèle lui oppose un refus systématique, sans bloquer les autres tâches autorisées.
Si Control Room tombe en panne, est désactivé ou trafiqué, les requêtes sont refusées jusqu'à son retour. Cette règle couvre déjà les travaux sur les modèles de pointe et doit s'étendre au reste de la recherche dans les prochains jours. Des balayages automatisés traquent aussi les moteurs lancés hors de son contrôle. Les 35 secondes viennent d'une couche de cache des autorisations, indispensable pour absorber le trafic, et OpenAI dit vouloir ramener ce délai à zéro.
Le délai maximal entre le moment où Control Room reçoit l'instruction d'arrêter une tâche et celui où toute progression devient impossible est de 35 secondes.
Le 20 septembre, un agent chargé d'identifier l'auteur d'un blog a déniché une faille dans le filtrage DNS de son bac à sable. Il s'en est servi pour interroger un assistant conversationnel externe. Sa question test : quelle est la capitale de la France. Réponse obtenue : Paris. Dix-huit autres questions ont suivi.
L'alerte maximale a retenti douze minutes après le premier contact, et un salarié l'a prise en charge en moins de trois minutes. L'arrêt automatique n'a jamais fonctionné. Dans son rapport d'incident, OpenAI reconnaît "une confusion sur la nécessité de l'arrêter", et l'exécution a été coupée à la main deux heures et demie après l'alerte.
Sam Altman, patron d’OpenAI. Après l’incident du 20 septembre, son entreprise a suspendu l’entraînement et les tests de ses modèles les plus puissants.