// PUNTO INFORMATICO — INTELLIGENZA ARTIFICIALE
Jalapeño è il primo chip di OpenAI progettato con Broadcom
Circa 8 mesi fa, OpenAI ha annunciato l’avvio della collaborazione con Broadcom. Il primo frutto della partnership si chiama Jalapeño. Non è il famoso peperoncino messicano, ma un chip per l’inferenza AI che l’azienda guidata da Sam Altman utilizzerà per ChatGPT e altri servizi.
Come è noto, OpenAI ha sottoscritto accordi miliardari con vari fornitori per l’uso di memorie, GPU e altri componenti hardware necessari all’addestramento e all’inferenza dei modelli AI. Diversi concorrenti, in particolare Amazon, Google, Meta e Microsoft, sfruttano anche chip proprietari per ridurre la dipendenza da NVIDIA, leader indiscusso del mercato. Jalapeño è il primo chip custom di OpenAI progettato in collaborazione con Broadcom.
Non ci sono informazioni tecniche, ma sicuramente non può competere con le GPU di NVIDIA in termini di prestazioni. Nel comunicato stampa viene infatti evidenziato che verrà usato per l’inferenza degli LLM (Large Language Model), ovvero quando ChatGPT risponderà ai prompt degli utenti.
In dettaglio, Jalapeño è un ASIC (Application Specific Integrated Circuit), un chip specializzato nell’esecuzione di specifiche attività (in questo l’inferenza AI). È quindi meno flessibile di una GPU NVIDIA, ma decisamente più economico. Jalapeño è stato progettato da zero dagli ingegneri di OpenAI, quindi è ottimizzato per i suoi modelli.
Un report sulle prestazioni verrà pubblicato nei prossimi mesi. In base ai test preliminari, le prestazioni per Watt sono superiori a quelle dei chip attuale. Jalapeño verrà utilizzato a partire da fine anno all’interno dei server realizzati da Celestica ad uso esclusivo di OpenAI.
Il chip dovrebbe consentire una riduzione dei costi e quindi meno limitazioni durante l’uso di ChatGPT (soprattutto il numero di prompt) per gli utenti che non sottoscrivono l’abbonamento.