// CLUBIC — INTELLIGENZA ARTIFICIALE
Que faire si l'IA part en vrille ? Le gouvernement américain vient de publier un guide
Le NIST, la NSA et la CISA ont récemment listé une série de pratiques pour gérer les incidents où un agent d'IA hors de contrôle agit sans demande explicite de la part d'un humain, pendant son entraînement ou son évaluation. Ce guide se divise en cinq étapes : préparer, détecter, répondre, reprendre et signaler.
Au-delà du simple chatbot, un agent IA réalise des actions, utilise des outils et mène de longues tâches. L'idée est bien souvent de prendre le pas sur les tâches rébarbatives réalisées d'ordinaire par les humains. Mais trop souvent, ces agents sont justement laissés en autonomie ou avec peu de supervision humaine.
Découvrez Bitdefender Ultimate Small Business Security et protégez votre activité contre les cybermenaces. Aucune coordonnée bancaire requise.
Les agences gourvernementales américaines s'adressent surtout les organisations qui entraînent ou testent ces agents. Les entreprises qui les déploient peuvent aussi s'en inspirer. Le texte définit un "incident de contrôle SI" (oui… SI pour superintelligence…). Il s'agit donc une action importante, non demandée qui contourne les règles ou les mesures de sécurité fixées par l'opérateur. Un agent IA hors de contrôle peut par exemple contacter un tiers sans autorisation, lancer une transaction financière ou, comme nous l'avons vu cet été, s'introduire dans un système externe. L'approche est donc différentes des incidents volontaires, par exemple lorsqu'un attaquant a mis en place une injection de prompt pour pièger un modèle.
Côté prévention, le guide parie sur le bon sens et recommande de ne donner à l'agent que les accès et les outils dont il a besoin. Quand c'est possible, il doit par ailleurs travailler sur une infrastructure à usage unique. Son accès au réseau doit passer par une liste de destinations autorisées et une passerelle surveillée. Il est par ailleurs fortement recommandé de fermer les portes de sortie.
L’agent ne doit pas pouvoir copier les poids du modèle, le fichier qui contient tout ce qu’il a appris. Il ne doit pas non plus pouvoir faire fonctionner le modèle hors de toute surveillance, ni communiquer en cachette avec d’autres systèmes. Les protections doivent partir du principe que les agents trouveront souvent des failles ou des erreurs de configuration, et les exploiteront.
La surveillance doit prendre en compte le modèle, son logiciel, la machine hôte et le réseau. L'agent ne doit pas pouvoir toucher aux outils de contrôle ni aux journaux. Les agences conseillent d'utiliser plusieurs modèles de surveillance, idéalement de familles différentes. Ils pourront alors se contrôler mutuellement et éviter les hallucinations ou compléter des informations manquantes. Alors que des IA ont dérapé et échappé à tout contrôle, l'idée est de percevoir d'emblée un agents comme une menace. Et ce guide va même jusqu'à considérer que tout ce que produit un agent IA est potentiellement un piège conçu pour exploiter une faille.
En cas d’incident, les administrateurs doivent bien évidemment couper automatiquement l’exécution de l’agent concerné. Selon la gravité, il est conseillé de suspendre aussi l’entraînement ou les tests d’agents similaires, le temps de renforcer les protections. Les équipes devraient pouvoir être en mesure de comprendre ce qu'il s’est passé, en récupérant et en passant au crible les poids du modèle, les sauvegardes faites en cours d’entraînement et des journaux verrouillés. Ces derniers retracent les actions de l’agent et ne peuvent pas être modifiés.
Ces mêmes équipes devraient aussi désactiver les mots de passe et les clés d’accès que l’agent a pu utiliser, mais aussi reconstruire les environnements touchés à partir de versions vérifiées et chercher ce que l’agent a pu laisser derrière lui pour revenir. Les analystes en cyber-sécurité évoquent la possibilité d'un accès caché dans le code ou un canal de communication masqué.
Avant de relancer les systèmes, il est important de vérifier que les dispositifs de contrôle fonctionnent et de t