// MACITYNET — INTELLIGENZA ARTIFICIALE
Mac Studio M5 Ultra e AI: cosa significano 70B, 405B, 1T e RDMA
Questo sito contiene link di affiliazione per cui può essere compensato
Quanto è grande davvero un modello AI da 405 miliardi di parametri? E cosa cambia quando un Mac Studio può mettere a disposizione 256 o 512 GB di memoria unificata e collegarsi ad altri Mac via Thunderbolt 5?
Abbiamo tradotto 70B, 405B, 1T, Q4 e token al secondo in esempi concreti, arrivando fino a una biblioteca immaginaria composta da oltre un milione di volumi dell’Encyclopédie di Diderot.
Con Mac Studio M5 Ultra Apple spinge il proprio desktop professionale in una direzione sempre più esplicitamente legata all’intelligenza artificiale eseguita in locale. Il chip arriva fino a una CPU 36-core e una GPU 80-core, ma per questo particolare tipo di applicazione due numeri sono probabilmente ancora più interessanti: fino a 512 GB di memoria unificata e 1,2 TB/s di banda della memoria.
C’è poi una novità meno immediata, ma potenzialmente ancora più importante. Più Mac Studio possono essere collegati fra loro tramite Thunderbolt 5 utilizzando RDMA, Remote Direct Memory Access, per distribuire fra più computer modelli che non potrebbero essere caricati nella memoria di una singola macchina. Apple dichiara che un cluster composto da quattro Mac Studio può arrivare fino a tre volte le prestazioni di inferenza AI di un singolo sistema.
Per capire perché tutto questo sia importante bisogna però decifrare alcune sigle che compaiono ormai continuamente quando si parla di AI locale: 70B, 123B, 235B, 405B, 671B, 1T, Q4, MoE e tok/s.
Prima di iniziare potete anche consultare il nostro articolo che spiega perchè il Mac è così potente nelle installazioni di AI Locale con tutti confronti tra le varie CPU Apple Silicon recenti: iMac, Mac mini, Mac Studio e MacBook Pro.
Il Mac surclassa i PC nella AI locale, ecco come e perché – aggiornato con i nuovi Mac mini e Mac Studio
La lettera B significa billion, cioè miliardo. Un modello 70B possiede quindi circa 70 miliardi di parametri; un modello 405B ne possiede circa 405 miliardi.
La T deriva invece da trillion nella numerazione anglosassone: 1T equivale a mille miliardi di parametri.