// CLUBIC — INTELLIGENZA ARTIFICIALE
Six évaluateurs indépendants s’installent chez Anthropic, et l’entreprise ne pourra pas les faire taire
Anthropic a annoncé, jeudi, avoir ouvert ses locaux à six évaluateurs indépendants de l’organisation METR, dotés d’un accès comparable à celui d’un salarié. Ils pourront publier leurs conclusions sur la sécurité de l’IA Claude sans que l’entreprise puisse y opposer son veto.
L'entreprise Anthropic a annoncé, jeudi 15 octobre, l’arrivée d’évaluateurs indépendants au sein de ses équipes, une étape concrète de sa stratégie de sécurité de l’intelligence artificielle. La société derrière le robot conversationnel Claude a accordé à une équipe de METR, une organisation à but non lucratif, un accès quasi équivalent à celui de ses propres salariés, et détaille un système à trois niveaux pour ses autres partenaires, dont SecureBio et Accenture. Ce dispositif soulève cependant une question autour de l’indépendance réelle de ces contrôleurs.
Six employés de METR ont posé leurs affaires chez Anthropic. Ils disposent d'un bureau, de matériel de l'entreprise et d'un accès aux outils internes à peu près équivalent à celui des équipes maison chargées d'évaluer les risques posés par ses modèles d'IA. Les salariés sont même encouragés à partager l'information avec eux comme avec un collègue travaillant sur les risques d'alignement. Seules quelques catégories bien délimitées leur échappent, comme les données clients, les échanges protégés avec les avocats ou l'architecture des modèles. Pour cette dernière, Anthropic redoute les fuites, puisque ces évaluateurs peuvent aussi travailler pour d'autres entreprises. Elle dit toutefois chercher, en général, à la partager après validation interne quand l'enjeu le justifie vraiment.
Le plus important tient pourtant à ce que ces évaluateurs auront le droit de dire. METR pourra publier ses analyses sur le niveau de risque, les incidents ou les pratiques de l'entreprise, et Anthropic n'aura aucun droit de veto. La firme pourra seulement exiger le caviardage de passages relevant de catégories étroites, fixées à l'avance. Si METR juge les coupes excessives, il pourra le faire savoir publiquement, sans en dévoiler le contenu. En échange, l'équipe est tenue par des accords contraignants. Elle travaille aussi en vase clos, car même les chercheurs de METR qui collaborent avec Anthropic sur d'autres projets n'ont pas accès à ses travaux.
Pourquoi Anthropic s'impose-t-elle cette surveillance ? L'entreprise explique vouloir rendre des comptes, sans pour autant tout déballer en place publique. Certaines informations feraient le bonheur d'acteurs malveillants, et d'autres, comme les détails sur l'entraînement ou la puissance de calcul, relèvent du secret commercial. Le but est de réduire l'écart entre ce que l'entreprise sait de ses modèles et ce qu'en savent ses contrôleurs.
D'où quatre exigences. La première est une expertise pointue, qui inclut la capacité de comprendre comment une évaluation peut dérailler, par exemple face à un modèle qui simule l'alignement. Viennent ensuite une indépendance réelle, sans parts dans l'entreprise ni dépendance financière ou opérationnelle, un accès qui va jusqu'à l'entraînement et aux garde-fous, et enfin la liberté de publier.
Pour défendre son approche, Anthropic emprunte une comparaison au monde de la finance. Une grande banque connaît mieux ses propres risques que n'importe quel observateur extérieur, c'est pourquoi les régulateurs installent des examinateurs directement dans ses murs, afin de repérer à temps les prises de risque qui pourraient menacer le public. L'entreprise admet elle-même que le parallèle n'est pas parfait. Ce dispositif concrétise surtout l'engagement pris le 12 septembre dernier par son PDG, Dario Amodei. Ce jour-là, il appelait le secteur à ralentir le rythme auquel progressent les modèles d'IA, et faisait de ces évaluateurs intégrés la première étape de son plan. Anthropic a par ailleurs signé l'Accord de la Maison-Blanche sur la superintelligence, par lequel les entreprises s'engagent à travailler avec des auditeurs ou des évaluateurs externes ind