// TOM'S HARDWARE ITALIA — HARDWARE & GADGET
Modelli AI in locale: le quattro domande da farsi prima di iniziare
Eseguire un modello sul proprio computer richiede una valutazione di memoria, velocità, qualità e vantaggi concreti. Questi quattro aspetti sono collegati: la quantizzazione riduce l’ingombro dei pesi e spesso accelera l’inferenza, con possibili effetti sulla qualità; un contesto più lungo consuma più memoria; lo spostamento di parte del lavoro dalla GPU alla CPU consente di superare alcuni limiti hardware, con conseguenze sulle prestazioni.
La scelta parte quindi dal modello specifico, dalla configurazione disponibile e dall’uso previsto. La model card raccoglie le informazioni da controllare: usi previsti, limiti, lingue supportate, risultati delle valutazioni e licenza. Il nome del modello o il numero dei parametri, presi da soli, non descrivono l’intera esperienza d’uso sul computer.
I pesi costituiscono una parte importante dell’occupazione in RAM o VRAM. La quantizzazione ne riduce l’ingombro rappresentandoli con una precisione inferiore. In Transformers, il caricamento a 8 bit dimezza l’uso di memoria rispetto alla precisione standard di riferimento. Questo permette di inserire nello stesso spazio un modello più grande oppure di lasciare memoria disponibile per le altre componenti necessarie all’esecuzione.
Il calcolo, però, deve includere anche la KV cache. Nei modelli autoregressivi, ogni token della risposta dipende dai token precedenti. La cache conserva le informazioni utili a evitare di ricalcolare continuamente tutto ciò che è già stato elaborato. Può occupare una quota significativa della memoria, soprattutto quando il contesto diventa lungo.
Aumentare la lunghezza del contesto aumenta la memoria richiesta. La capacità di caricare i pesi, quindi, non garantisce che ogni configurazione del contesto possa essere usata senza difficoltà. Il dimensionamento deve tenere conto sia del modello sia della quantità di testo che si vuole elaborare durante una sessione.
Esistono strategie per distribuire il carico. La KV cache può essere spostata dalla GPU alla CPU, liberando VRAM e riducendo la velocità di generazione. llama.cpp può dividere il calcolo tra CPU e GPU, consentendo di eseguire modelli più grandi della VRAM disponibile. La disponibilità complessiva di RAM e VRAM, insieme alla ripartizione del lavoro, definisce quindi quali configurazioni risultano eseguibili.
La velocità va osservata in due fasi distinte. La prima riguarda l’elaborazione del prompt, cioè il testo già disponibile prima della risposta. La seconda è la generazione vera e propria. Nei modelli autoregressivi la risposta procede un token alla volta e ogni nuovo token dipende da quelli precedenti. Le due fasi hanno caratteristiche diverse e riunirle in un singolo valore rende il confronto meno preciso.
llama-bench misura separatamente l’elaborazione del prompt e la generazione, riportando i risultati in token al secondo. Questa distinzione consente di valutare configurazioni orientate a richieste differenti: prompt estesi, documenti più lunghi oppure risposte composte da molti token. Il risultato utile è quello relativo al carico che il computer dovrà affrontare davvero.
Le prestazioni dipendono anche dall’hardware e dal backend utilizzato. llama.cpp supporta l’esecuzione su CPU e diversi backend GPU, fra cui CUDA, Metal, HIP e Vulkan. Due sistemi che eseguono lo stesso modello e la stessa quantizzazione possono quindi offrire prestazioni differenti in base al percorso di calcolo effettivamente impiegato.
Anche le scelte adottate per contenere l’uso di memoria incidono sulla velocità. Spostare la KV cache verso la CPU risparmia VRAM e rallenta la generazione. Dividere il calcolo tra CPU e GPU rende eseguibili modelli che superano la VRAM disponibile, mentre le prestazioni rimangono legate alla configurazione concreta. La verifica deve usare il modello, il contesto e il backend scelti per l’impiego finale.