// FRANDROID — HARDWARE & GADGET
Jusqu’à deux fois plus de tâches qu’Intel et AMD : le processeur ARM Nvidia Vera convainc un gros acteur
Nvidia ne veut plus seulement vendre ses GPU, il veut aussi placer ses CPU dans les centres de données. Cela tombe bien puisque Nvidia a un client de plus pour son processeur Vera.
Dans un billet de blog publié ce lundi 19 octobre, Modal annonce qu’elle va faire tourner une partie de ses services sur ce CPU. Cette start-up américaine loue de la puissance de calcul aux développeurs d’IA.
Ses serveurs n’utilisaient jusqu’ici que des puces x86 d’Intel et AMD. Nvidia domine déjà le marché des GPU pour l’IA, et la voilà qui prend pied sur le terrain historique de ses deux concurrents.
Modal pèse déjà lourd dans le secteur. La société a levé 750 millions de dollars (environ 670 millions d’euros) le 14 octobre, pour une valorisation de 15,75 milliards de dollars (environ 14 milliards d’euros), et vise le milliard de dollars de chiffre d’affaires sur un an. Vera servira à son produit Sandboxes. Ce sont des environnements isolés où les agents IA (ces programmes qui enchaînent seuls des tâches longues, comme écrire et tester du code) exécutent leurs commandes.
Pour comparer les puces, Modal a construit son propre test, baptisé Agentless Agent Bench. Il fait tourner 50 tâches typiques d’un agent (compiler du code, fouiller des fichiers, manipuler un dépôt Git) dans des conteneurs Docker lancés en parallèle, sans appel réseau. Face à Vera, on trouve des serveurs Intel Granite Rapids, AMD Zen 5 et AWS Graviton 4 et 5.
Sur une machine au repos, avec une tâche à la fois, Vera est souvent devant, « mais pas toujours, et pas avec une marge particulièrement large », reconnaît Erik Dunteman, l’ingénieur de Modal qui signe le billet. Par contre, quand les conteneurs s’entassent, Vera traite jusqu’à deux fois plus de tâches par minute que la machine Intel avec le même nombre de cœurs logiques alloués, et chaque tâche ne prend pas plus de temps. Sur toute la machine, avec 150 conteneurs, l’écart tombe à environ 40 %. Vera valide alors 6 500 tâches par minute, contre 4 600 pour le serveur Intel, qui a pourtant 256 threads contre 176.
Modal ne précise pas les références exactes des puces et ne donne aucun chiffre de consommation. Surtout, Vera était opposé aux générations actuelles d’Intel et AMD. Leurs successeurs, qui seront ses vrais concurrents dans les années à venir, n’ont pas encore été testés.
Il est fort à parier que les charges des agents IA favorisent les puces ARM. Mais, attention, le graphique de Modal nuance cette lecture : les Graviton d’AWS, eux aussi basés sur ARM, plafonnent bien plus bas que Vera. Pour Modal, l’écart provient plutôt de la bande passante mémoire de Vera, qui permet de faire tourner plus de conteneurs par cœur sans que le processeur ralentisse.
Nvidia a justement soigné ce point. Vera est son premier processeur serveur avec des cœurs maison, baptisés Olympus, construits sur le jeu d’instructions Arm v9.2. La puce compte 88 cœurs et 176 threads. Elle offre jusqu’à 1,2 To/s de bande passante mémoire, le double de Grace, le processeur précédent de Nvidia, d’après le livre blanc publié par Nvidia en juillet.
Nvidia a gagné des milliards avec ses accélérateurs GPU. Pourtant, avec les agents, le CPU redevient un point de blocage. D’après Modal, un agent passe beaucoup de temps à attendre la réponse du modèle, puis il peut demander d’un coup dix fois plus de calcul pour une simple installation de paquets. Et quand le CPU traîne, les GPU attendent. Erik Dunteman le résume ainsi : « tout temps gagné sur le CPU est du temps gagné sur le GPU ».