// TOM'S HARDWARE ITALIA — HARDWARE & GADGET
I cluster AI lasciano le GPU in attesa, Supermicro spiega perché
Supermicro ha individuato nella gestione della memoria e dello storage uno dei principali limiti operativi dei moderni cluster AI. L'azienda ha organizzato un ciclo di 12 sessioni tecniche per mostrare come spostare parte del contesto dei modelli fuori dalle GPU, evitando che acceleratori costosi restino in attesa dei dati anziché dedicarsi ai calcoli.
Il problema nasce dalla KV cache, la struttura che conserva gli stati intermedi dell'attenzione per ogni token già elaborato. Senza questa memoria, un modello linguistico dovrebbe ricalcolare continuamente l'intera cronologia della conversazione. Mantenerla nella HBM della GPU garantisce prestazioni elevate, ma sottrae spazio ai pesi del modello e alle richieste eseguite contemporaneamente.
Con contesti da 128.000 token e oltre, la cache può occupare gran parte degli 80 GB disponibili su una NVIDIA H100. La pressione diventa ancora più marcata con l'AI agentica, perché gli agenti accumulano documenti, risultati intermedi, chiamate agli strumenti e passaggi di ragionamento durante attività che possono durare molto più di una normale conversazione.
La soluzione proposta consiste nel creare un livello dedicato di context memory, collocato tra gli SSD NVMe locali e gli array di storage collegati in rete. La piattaforma NVIDIA CMX formalizza questa gerarchia, permettendo di scaricare la cache dalla memoria della GPU senza rinunciare alla possibilità di recuperarla rapidamente durante la generazione dei token.
L'architettura distribuisce i dati tra HBM della GPU, DRAM della CPU, SSD NVMe e storage esterno. A coordinare i trasferimenti interviene la BlueField-4 DPU, mentre il framework NVIDIA Dynamo gestisce l'inferenza. VAST Data, DDN, IBM, Nutanix, WEKA, Supermicro e Cloudian stanno sviluppando o fornendo implementazioni compatibili con questo approccio.
In un test condotto con quattro H100 e un contesto da 131.000 token, uno storage progettato per l'offload della KV cache ha migliorato fino a 19 volte il tempo al primo token rispetto alla gestione limitata alla GPU. La pressione sull'infrastruttura si inserisce in un settore dove la capacità produttiva dei chip risulta già prenotata fino al 2028, rendendo essenziale utilizzare meglio ogni acceleratore disponibile.
Il risvolto economico è diretto: un cluster rallentato dalla memoria può apparire completamente occupato nei pannelli di monitoraggio, pur producendo meno token al secondo di quanto suggeriscano le specifiche delle GPU. Supermicro ha inoltre comunicato un arretrato record, sostenuto da oltre 60 miliardi di dollari di nuovi ordini trimestrali, che dovranno trasformarsi in sistemi capaci di funzionare senza nuovi colli di bottiglia.
Aggiungi Tom's Hardware alle tue fonti preferite su Google