// FRANDROID — INTELLIGENZA ARTIFICIALE
GPT-6, Fable 5.1 : comment lire les benchmarks de Claude et GPT sans se faire avoir
Il y a dix ans, on comparait les smartphones avec AnTuTu. Un chiffre, un classement, et de temps en temps un constructeur épinglé parce que sa puce s’emballait dès qu’elle détectait l’application de test. Avec les modèles d’IA, on a reconstruit exactement le même système, avec un handicap supplémentaire : le smartphone, on pouvait au moins le prendre en main. Un modèle de langage, on ne le voit pas. On voit un tableau publié par son éditeur, dans lequel l’éditeur gagne, et on se dit que ça doit être vrai puisque c’est en gras.
Cette semaine, deux tableaux se contredisent à quarante-huit heures d’écart. L’occasion est bonne pour regarder ce qui se passe derrière ces tableaux.
Un benchmark, c’est une liste de problèmes avec leurs réponses, un protocole pour les soumettre au modèle et une note à la fin. Mardi 1er septembre, Anthropic a lancé Claude Fable 5.1 en mettant en avant 52,6 % sur Terminal-Bench-Science, un test où le modèle doit mener une petite investigation scientifique en ligne de commande, contre 24,7 % pour Fable 5 et 22,4 % pour GPT-5.6 Sol.
Jeudi 3, hier, OpenAI a dégainé GPT-6 Astra, réservé pour l’instant à un cercle de testeurs, avec 98,6 % revendiqués sur ARC-AGI-3, un test de raisonnement sur lequel les modèles de mars ne dépassaient pas 1 % et où GPT-5.6 Sol, sorti en juillet, plafonnait à 7,8 %. Greg Brockman a conclu son briefing par un « Bienvenue dans l’ère de l’AGI ».
OpenAI insiste surtout sur une fonction, l’usage de l’ordinateur : remplir un tableur, naviguer sur le web ou créer un site à la place de l’utilisateur. Ce genre de capacité se mesure aussi, par exemple avec OSWorld 2.0, où Fable 5.1 pointe à 41,7 %. Les deux modèles sont facturés au même tarif, 10 dollars (environ 9 € HT) le million de tokens en entrée et 50 (environ 46 € HT) en sortie, un million de tokens représentant en gros cinq ou six romans en français. À ce prix, savoir lequel progresse vraiment n’est plus un débat de forum.
Humanity’s Last Exam, l’examen « ultime » lancé en janvier 2025, donne une idée du chantier. Près de 1 000 experts issus de plus de 500 institutions ont soumis des questions, avec 500 000 dollars de primes pour les meilleures.
Chaque question devait avoir une réponse unique, introuvable sur Google, et surtout faire échouer les modèles de l’époque : celles que les IA réussissaient étaient éliminées d’office. Il en reste 2 500, et les scores au lancement ne dépassaient pas 10 %. Vingt mois plus tard, Fable 5.1 revendique 65 % avec outils.
Entre-temps, le laboratoire FutureHouse a fait relire le sous-ensemble chimie et biologie par des spécialistes. Environ 29 % des réponses officielles sont contredites par la littérature scientifique. L’équipe du benchmark, après contre-expertise, a reconnu 18 % de questions problématiques sur ce sous-ensemble. Le défaut vient de la méthode de sélection : on gardait ce que les modèles rataient, sans toujours vérifier pourquoi ils rataient.
D’autres prennent le problème autrement. ARC-AGI-3, sorti en mars, ne pose pas de questions. Il place le modèle dans de petits environnements interactifs qui ne sont pas connus, sans règles expliquées, et compte le nombre d’actions nécessaires pour s’en sortir.
Avant le lancement, la fondation ARC Prize a fait jouer environ 500 personnes pour établir une référence humaine, et elle garde une partie des environnements sous clé pour qu’ils ne finissent pas dans les données d’entraînement.