// CLUBIC — INTELLIGENZA ARTIFICIALE
Il fait tourner une IA avec 2 800 milliards de paramètres sans GPU, mais sa RAM surchauffe
Faire tourner un modèle d'IA en local sans carte graphique, c'est faisable ? Pour un utilisateur qui s'est lancé ce défi, c'est oui. Cependant, pas à n'importe quel prix.
Un utilisateur a publié sur Reddit les caractéristiques de sa machine capable d'exécuter Kimi K3, un modèle d'IA avec 2 800 milliards de paramètres développé par Moonshot AI, uniquement avec un processeur. Il utilise un Xeon Scalable de 3ᵉ génération doté de 40 cœurs et de la mémoire Optane PMem 200, une gamme aujourd'hui abandonnée. Le tout, sans carte graphique.
Ce modèle n'est pas conçu pour un usage à domicile. Moonshot AI recommande des moteurs d'inférence adaptés aux datacenters, et même la plus petite quantification produite par la communauté demande au moins 610 Go de RAM. La mémoire Optane d'occasion est l'un des rares moyens d'atteindre une telle capacité sur une machine à domicile. Les prix de la DRAM ayant fortement augmenté, la mémoire Optane coûte selon l'utilisateur « une fraction » du prix d'une quantité équivalente de DRAM.
Intel a lancé la gamme Optane Persistent Memory 200 en 2020, pour ses Xeon Scalable de 3ᵉ génération, en capacités de 128, 256 et 512 Go. Sur les plateformes à deux sockets, elle fonctionne à une fréquence plus élevée que la première génération et peut offrir en moyenne jusqu'à 32 % de bande passante en plus.
La mémoire Optane peut fonctionner en Memory Mode ou en App Direct Mode. En Memory Mode, l'Optane sert de mémoire système et la DRAM de cache.
Mais voilà, les performances sont nettement inférieures à celles d'une configuration avec de la DRAM classique. Le montage monte à 0,85 token par seconde avec une quantification en 1 bit, et 0,75 avec une quantification en 3 bits. Sur Reddit, un commentaire indique qu'il juge ce débit très faible, selon lui, à ce rythme-là, une tâche de 50 000 tokens prendrait environ 13 heures.
Une autre configuration atteignait environ 4 tokens par seconde, mais la comparaison est difficile à faire. La configuration en question était dotée d'une RTX 3060, utilisant le Memory Mode et une quantification en 2 bits, en faisant tourner Kimi K2.5, un modèle plus petit et plus ancien, avec « seulement » 1 000 milliards de paramètres.
L'auteur d'un autre montage a également dû gérer la chaleur. Lors de tâches prolongées, les barrettes Optane deviennent « extrêmement chaudes » selon lui, ce qui pourrait mettre en danger la DRAM voisine. Un refroidissement actif des barrettes semble alors obligatoire. Afin de ramener la température à un niveau acceptable, il a dirigé deux ventilateurs de 12 watts vers ses barrettes.
Intel prévoit en effet un flux d'air forcé pour cette mémoire, à entre 2,4 et 2,7 mètres par seconde, soit ce que l'on trouve dans un datacenter, mais pas dans un PC personnel.
Chaque module de RAM consomme entre 12 et 15 W, selon les conditions d'utilisation. Cela représenterait avec quatre barrettes, jusqu'à 60 W de chaleur à proximité immédiate de la mémoire du système. À 83 °C, le throttling (limitation de fréquence) se démarre, et à 85 °C, la mise en sécurité arrête les modules pour surchauffe. À titre de comparaison, la mémoire serveur DDR4 classique s'arrête à 95 °C.