// TOM'S HARDWARE ITALIA — INTELLIGENZA ARTIFICIALE
NVIDIA vuole un'AI più veloce senza consumare di più: ecco come ci riesce
NVIDIA ha illustrato le ottimizzazioni energetiche di DSX MaxLPS, dichiarando un incremento fino al 40% del throughput di token per megawatt. La tecnologia punta ad aumentare la capacità di elaborazione delle infrastrutture AI entro la potenza elettrica disponibile nel sito: un vincolo che condiziona quanti acceleratori possono lavorare contemporaneamente e quante richieste possono essere servite.
Un risultato concreto arriva da Lambda, fornitore di GPU cloud con oltre 10.000 clienti, che ha provato il software su un cluster di cinque rack e 19 nodi. L'azienda ha fatto funzionare tutti i 19 nodi entro lo stesso budget di potenza richiesto da 16 nodi a piena potenza, ottenendo il 24% di throughput complessivo in più, da circa 4 milioni a circa 5 milioni di token al secondo.
Nello stesso test, le prestazioni per watt sono migliorate del 23%. Il confronto riguarda quindi la produttività dell'intero cluster entro un limite energetico: distribuire il budget su più nodi ha consentito di elaborare più token rispetto alla configurazione con meno nodi a piena potenza. Le percentuali sono risultati dichiarati per le configurazioni considerate, non incrementi garantiti per qualsiasi carico AI.
Per i rack Vera Rubin e Groq 3 LPX, NVIDIA indica inoltre la possibilità di ospitare fino al 40% di GPU in più entro il medesimo limite di potenza del sito, con un aumento del throughput di token fino al 35% senza nuove linee elettriche. Sono due misure distinte: la prima descrive la quantità di acceleratori utilizzabili, la seconda il lavoro effettivamente prodotto dall'infrastruttura.
DSX si inserisce in una piattaforma che comprende il software di inferenza Dynamo, le librerie NeMo e le connessioni NVLink per collegare gli acceleratori. Sul versante della rete figurano Spectrum-X e ConnectX SuperNIC, mentre BlueField gestisce anche lo storage della memoria di contesto. L'attenzione ai dati emerge anche dagli interventi di NVIDIA per aumentare il throughput dello storage AI: alimentazione, comunicazione e accesso alle informazioni concorrono a determinare quanto lavoro possano svolgere le GPU.
La gestione della potenza comprende anche DSX Flex, impiegato nella piattaforma Conductor di Emerald AI. In questo caso l'obiettivo è adeguare dinamicamente la richiesta elettrica del data center alle condizioni della rete, riducendo la domanda quando il sistema elettrico è sotto pressione e preservando l'esecuzione dei carichi AI critici.
Nell'implementazione descritta, la piattaforma di Emerald AI ha già risposto a 200 segnali legati alle condizioni della rete elettrica. Tutti gli interventi sono stati completati correttamente e senza intervento dell'utente, secondo i risultati riportati, portando la regolazione dei consumi nel funzionamento operativo dell'infrastruttura.
Aggiungi Tom's Hardware alle tue fonti preferite su Google