// FRANDROID — HARDWARE & GADGET
« Il tournera sur PC portable » : Mistral nous confirme un Large 4 allégé
Mistral a publié ce jeudi 29 octobre les poids de Large 4, son modèle le plus puissant, qui rattrape les meilleurs modèles ouverts chinois en code. Ses poids sont téléchargeables par tous, mais le faire tourner demande du matériel de centre de données, hors de portée d’un particulier.
Lors d’un briefing presse organisé ce mercredi 28 octobre, nous avons demandé à Mistral quand arriveraient des versions plus petites, de quelle taille, et si l’une d’elles tournerait sur un ordinateur portable ou un PC de jeu. Réponse de Pierre Stock, vice-président chargé de la science chez Mistral : « Ça va arriver bientôt, dans le mois qui vient. Il y aura une famille de modèles, et l’un d’eux pourra tourner sur un ordinateur portable, c’est certain. »
La logique, selon Mistral : des gros modèles pour les tâches difficiles, à un certain coût, et des petits modèles pour les tâches plus simples, « bien plus rapides et bien moins chers ». Ce que demandent ses clients, assure l’entreprise.
Pour un particulier, l’intérêt d’un modèle qui tourne en local tient en deux points : il fonctionne sans connexion, et les données ne quittent pas la machine. Mistral avance le même argument pour Large 4 auprès des entreprises, qui peuvent l’héberger sur leurs propres serveurs et garder leurs données chez elles.
Large 4 compte 1 000 milliards de paramètres. Même compressé en 4 bits (version dite quantifiée), il pèse environ 610 Go et exige, selon Mistral, quatre GPU Nvidia B200 ou B300. Ce matériel ne se trouve que dans des centres de données.
Pour comparer, un MacBook Pro M5 démarre à 16 Go de mémoire unifiée, et la version M5 Max plafonne à 128 Go, le maximum proposé par Apple sur un portable. Même quatre Nvidia DGX Spark reliés entre eux, le maximum prévu par Nvidia, ne suffiraient pas : avec 128 Go chacun, ils plafonnent à 512 Go, autant qu’un Mac Studio M5 Ultra dans sa version la plus dotée.
Des versions bien plus compressées, publiées par Unsloth le jour même, descendent à 233 Go en 1 bit et de 302 à 378 Go en 2 bits : de quoi tenir sur ce Mac Studio M5 Ultra à 512 Go, au prix d’une perte de qualité qu’aucun test ne mesure encore. Aucun portable n’en approche.
Plus tôt dans le briefing, Pierre Stock avait pourtant présenté cette version quantifiée comme capable de tourner « sur une machine assez petite ». Interrogé ensuite sur le matériel nécessaire, Mistral a cité ces mêmes quatre B200 ou B300. Petite, donc, à l’échelle d’un centre de données, où le modèle complet, environ 1 060 Go, occupe un serveur entier de huit GPU, selon la fiche publiée par Mistral.
La distillation consiste à entraîner un petit modèle à imiter les réponses d’un gros. Le petit coûte bien moins cher à faire tourner et répond plus vite, mais il perd une partie des capacités de son aîné.
Mistral revendique cette méthode. « Nous commençons toujours par un gros modèle, parce que les petits sont entraînés à partir du gros », explique Pierre Stock. L’entreprise pratique déjà la distillation sur mesure pour des entreprises clientes.