// CLUBIC — INTELLIGENZA ARTIFICIALE
Sans le vouloir, l'IA Claude d'Anthropic a piraté trois entreprises bien réelles
Après le piratage retentissant de Hugging Face par un agent d'OpenAI, Anthropic dévoile à son tour trois incidents de cybersécurité impliquant ses propres modèles Claude, qui ont accédé sans autorisation à de vraies infrastructures lors de tests d'évaluation.
Un peu moins de trois semaines après le piratage de Hugging Face par un agent d'OpenAI échappé de son bac à sable, Anthropic a voulu vérifier si Claude avait, lui aussi, dérapé. Et l'entreprise, de manière très transparente, a livré ses résultats jeudi en fin de journée. Après avoir passé au crible 141 000 tests de cybersécurité, la firme dirigée par Dario Amodei a indiqué avoir identifié trois cas où son intelligence artificielle a touché à de vraies infrastructures. Une découverte qu'Anthropic assume bien publiquement, détails à l'appui.
Chez Anthropic, on a lancé un exercice classique dans le petit monde de la cybersécurité IA : le fameux « capture the flag » (capturez le drapeau, en français). Le principe est simple : on donne à l'IA un scénario fictif, une entreprise imaginaire à pirater, et un objectif, par exemple dénicher une information cachée quelque part sur le réseau. Sauf qu'ici, le prompt d'Anthropic précisait noir sur blanc à Claude qu'il n'avait aucun accès à internet. Une erreur de configuration chez leur partenaire d'évaluation, Irregular, en a décidé autrement. Notons que ces tests tournaient volontairement sans les garde-fous habituels (filtres et surveillance) que Claude propose une fois mis à disposition du public, puisque l'objectif était de mesurer les capacités brutes du modèle. Il conservait malgré tout son entraînement de sécurité de base, ce qui n'a pas suffi à éviter le dérapage.
Lors d'un des tests, pas de chance, l'entreprise fictive imaginée pour l'exercice portait le même nom qu'une vraie entreprise existant sur internet. En cherchant sa cible, Opus 4.7 est tombé sur le vrai site au lieu du faux, persuadé de rester dans le cadre du jeu. Il s'est alors introduit dans ses systèmes comme il l'aurait fait pour l'exercice prévu, et en a profité pour voler de vrais mots de passe et codes d'accès techniques, avant de fouiller dans une base de données bien réelle contenant plusieurs centaines de lignes d'informations. Le scénario s'est répété sur quatre sessions de test distinctes. Et le plus troublant, c'est que le modèle a fini par se douter que quelque chose clochait, car dans deux de ces quatre sessions, il a bel et bien identifié qu'il avait affaire à la vraie entreprise. Mais il s'est convaincu tout seul que cela devait, malgré tout, faire partie du test. Il n'a ainsi jamais interrompu son attaque.
La réaction aura été rapide en tout cas. Dès le 23 juillet, deux jours après les aveux d'OpenAI, Anthropic a lancé une revue interne de 141 006 sessions de test et suspendu aussitôt toutes ses évaluations offensives. Les trois incidents ont formellement été identifiés le lendemain. Les organisations touchées, et le partenaire Irregular, ont été prévenus le 27 juillet. Anthropic précise avoir pu joindre deux des trois entreprises visées, et qu'aucune des deux n'avait remarqué l'intrusion avant d'être contactée. Les démarches ont continué pour retrouver la troisième, un peu comme le dossier de la deuxième victime insoupçonnée dans l'affaire OpenAI.
Le deuxième cas est, vous allez le voir, assez incroyable. Claude, cette fois incarné par le modèle Mythos 5, est tombé sur un faux document interne qui ressemble à un guide d'installation destiné aux nouveaux employés de l'entreprise fictive. Ce guide demande d'installer un paquet Python, un petit programme prêt à l'emploi que les développeurs téléchargent au lieu de le coder eux-mêmes, via PyPI, le grand registre public où ce genre d'outils est habituellement hébergé. Le problème, c'est que ce paquet précis n'existe pas encore sur PyPI. Claude comprend alors la faille et se dit que si les systèmes de l'entreprise sont programmés pour l'installer automatiquement, n'importe qui peut publier un paquet