// LES NUMÉRIQUES — INTELLIGENZA ARTIFICIALE
Actualité : “Un moment majeur de l’histoire scientifique” : un ancien d’OpenAI pense avoir ouvert la “boîte noire” de l’IA
Un neurone qui s'allumait devant une tête de chat comme devant une calandre de voiture a longtemps servi de preuve que l'IA serait indéchiffrable. L'un des chercheurs qui avaient forgé cette lecture la démolit aujourd'hui dans un essai fleuve, chiffres à l'appui, et la communauté se divise déjà.
© pinkeyes - Selon Nick Cammarata, la plupart des neurones d’un grand modèle d’IA assurent une tâche identifiable.
Depuis des années, la recherche répète que les grands modèles d'IA échappent à leurs propres concepteurs. Le 15 octobre, Nick Cammarata, chercheur chez Goodfire, laboratoire spécialisé dans l'interprétabilité, a publié Neural Networks Are Already Clean, un essai d'une heure de lecture qui prend ce dogme à rebours. Coauteur en 2020 de Zoom In avec Chris Olah, il a contribué à installer la théorie qu'il conteste désormais. En 2023, le projet d'interprétabilité automatisée qu'il avait lancé chez OpenAI ne jugeait lisibles qu'environ 1,7 % des neurones.
Je crois avoir une bonne nouvelle sur la nature des réseaux de neurones.
Tout part d'un cas d'école. Dans InceptionV1, modèle de vision conçu par Google en 2014, un neurone réagissait aux têtes de chat comme aux faces avant d'automobiles. L'explication admise, la superposition, voulait qu'un réseau à court de neurones entasse des notions sans rapport. Cammarata y voit un détecteur de formes pointues : museaux de renard, flammes, jets d'eau. Les formes rondes, comme la lettre O, l'inhibent.
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came…
Le reste du désordre apparent relèverait d'une "généralisation récursive" : un neurone bourgeonne comme une branche. L'un d'eux réagissait à "iy", puis à "diy", et enfin à "do it yourself". Passé au crible par des agents IA, le modèle ouvert Qwen3-32B d'Alibaba compterait environ 90 % de pôles de neurones voués à une tâche principale. Seuls 2 à 4 % résistent encore à l'analyse.
Des circuits lisibles permettraient de traquer la tromperie ou les dérives d'un modèle à la source. Roon, salarié d'OpenAI très suivi sur X, parle d'un travail qui "pourrait rester comme un moment majeur de l'histoire scientifique".
when nick told me that he had some interp breakthroughs, he was uh, underselling it. i think this may be remembered as a major moment in scientific history. news so good even eliezer will have to lower his pdoom. we can start making alignment into a 'normal science' https://t.co/7k4jzO2XIR
Neel Nanda, qui dirige l'interprétabilité mécaniste chez Google DeepMind, tempère l'enthousiasme. Selon lui, les modèles de langage stockent bien plus de faits qu'ils ne comptent de neurones, et des résultats tirés de petits modèles de vision ne valent pas forcément pour eux.