// PUNTO INFORMATICO — HARDWARE & GADGET
DeepSeek V4.1 Flash: il nuovo modello AI è enorme, ma consuma meno
DeepSeek ha svelato una nuova versione del suo modello Flash, ottimizzato per ridurre i costi e la latenza. Battezzato V4.1, questo aggiornamento apporta miglioramenti architetturali più importanti del previsto per una versione minore, aprendo la strada a modelli più performanti pur limitando il fabbisogno di risorse.
Con 763 miliardi di parametri, DeepSeek V4.1 Flash supera di oltre 2,5 volte le dimensioni del suo predecessore. È persino più voluminoso dei modelli V3 e R1, che avevano segnato l’emergere di DeepSeek a inizio 2025. Eppure, le sue esigenze in termini di memoria non sono proporzionali alle sue dimensioni.
Gli sviluppatori di DeepSeek hanno modificato la gestione delle cache chiave-valore (KV), utilizzate per tracciare lo stato del modello tra le sessioni. Queste cache, particolarmente avide di memoria nelle applicazioni dispendiose come i chatbot, vedono il loro consumo ridotto dal 13% al 25% rispetto alla versione V4 Flash. Ciò grazie ad aggiustamenti nei meccanismi di attenzione e all’introduzione di un nuovo codificatore-decodificatore causale (CED). Risultato: il modello può gestire da quattro a otto volte più utenti con la stessa impronta di memoria per le cache KV.
Un’altra innovazione degna di nota è l’introduzione di un nuovo tipo di pesi: 196 miliardi dei 763 miliardi di parametri sono N-grammi, che formano quello che DeepSeek chiama un “modulo di memoria condizionale”. L’idea è di disaccoppiare la memoria dal calcolo, permettendo di migliorare l’intelligenza del modello riducendo al contempo le risorse necessarie alla sua esecuzione.
Gli N-grammi, gruppi di token (ad esempio coppie o triplette di parole), agiscono come una fonte di conoscenze implicite. Piuttosto che calcolare unicamente le combinazioni di token più probabili, come fanno tradizionalmente i grandi modelli linguistici, i pesi N-grammi completano questo processo fornendo rapidamente informazioni pertinenti tramite una ricerca poco costosa.
In pratica, questi pesi funzionano come tabelle di consultazione voluminose. A differenza degli altri parametri del modello, non hanno bisogno di essere interamente caricati nella memoria GPU a ogni generazione di token. Poche decine di ricerche per token sono sufficienti, il che permette di archiviarli nella memoria di sistema o persino su uno storage rapido, senza penalizzare le prestazioni.
Così, sebbene V4.1 Flash richieda teoricamente 763 GB di memoria GPU per i suoi pesi in FP8, gli N-grammi possono essere delocalizzati, riducendo questo fabbisogno a circa 567 GB. In produzione, queste cifre saranno più elevate a causa delle cache KV, la cui dimensione dipende dalla lunghezza del contesto e dal numero di utenti simultanei.
DeepSeek non è l’unico a puntare su questo approccio. Google utilizza già una tecnica simile, il Per-Layer Embedding (PLE), per i suoi modelli Gemma, permettendo di delocalizzare alcuni pesi verso uno storage locale. Per il momento, questo metodo è stato applicato soprattutto a modelli di piccole dimensioni.