// TOM'S HARDWARE ITALIA — INTELLIGENZA ARTIFICIALE
Huawei scommette sulla memoria flash 3D per l'AI
Un gruppo di ricercatori di Huawei, ETH Zürich e Huazhong University of Science and Technology ha pubblicato un lavoro tecnico dedicato a FLINT, un substrato progettato per integrare flash NAND impilata vicino agli acceleratori AI. L’obiettivo è superare il limite della memoria on-package, che nei sistemi con un singolo acceleratore o pochi nodi può impedire il caricamento dei modelli linguistici più grandi.
L’architettura sfrutta la High Bandwidth Flash, o HBF, come livello di capacità aggiuntivo accanto alla HBM. La tecnologia impiega NAND 3D per offrire uno spazio nell’ordine dei terabyte, ma presenta latenze di lettura nell’ordine dei microsecondi. FLINT prova a compensarle intervenendo sul modo in cui pesi e dati vengono recuperati durante l’inferenza.
Il primo meccanismo è un controller burst-buffer hardware che raggruppa dinamicamente le richieste e organizza in pipeline le letture dalla HBF. Il controller sfrutta i buffer già presenti nei dispositivi NAND, cercando di mantenere elevata la banda disponibile senza dipendere dal prefetch statico e a grana grossa utilizzato dalle precedenti proposte basate su flash ad alta larghezza di banda.
Il secondo intervento riguarda la manutenzione della memoria. Il phantom-plane refresh sposta le operazioni di aggiornamento della NAND fuori dal percorso critico dell’inferenza, ricorrendo a una duplicazione delle risorse descritta come poco costosa. In questo modo l’acceleratore non deve attendere attività interne alla flash mentre sta recuperando i pesi necessari per generare una risposta.
FLINT introduce inoltre una FTL di sola lettura, specializzata per un carico in cui i pesi del modello vengono consultati ma non modificati continuamente. La complessa gestione delle scritture tipica degli SSD viene sostituita da una tabella compatta, incaricata di tradurre i blocchi logici dei pesi nelle corrispondenti posizioni fisiche della HBF.
La proposta per ora è solo un progetto di ricerca e non ci sono informazioni riguardo la possibilità che diventi un effettivo prodotto commerciale. I tre meccanismi delineano però una strada precisa: usare la NAND impilata come estensione specializzata della memoria degli acceleratori, riducendo l’impatto delle latenze e delle operazioni di manutenzione. Per l’inferenza LLM su sistemi compatti, la capacità potrebbe così crescere senza richiedere configurazioni con molti acceleratori e grandi quantità di costosa memoria HBM.
Aggiungi Tom's Hardware alle tue fonti preferite su Google