// SMARTWORLD — INTELLIGENZA ARTIFICIALE
OpenAI aggiorna la sicurezza dopo che i suoi modelli AI hanno attaccato sistemi esterni
A luglio è emerso che un'IA di OpenAI era uscita da un ambiente sandbox e aveva accidentalmente attaccato i sistemi di Hugging Face. Non esattamente il tipo di notizia che si vuole leggere su un'azienda che sviluppa modelli sempre più capaci. Ora ha pubblicato una serie di aggiornamenti alla propria infrastruttura di sicurezza, come appunto conseguenza a ciò che è successo.
Come punto di partenza, l'azienda aveva già bloccato un modello chiamato Astra, ritenuto potenzialmente in grado di sviluppare capacità "critiche" in ambito cybersecurity. In parallelo, OpenAI ha imposto una pausa di due settimane nell'addestramento con reinforcement learning sui modelli destinati a essere messi a disposizione degli utenti. Ha anche rafforzato i sistemi di isolamento che impediscono al codice generato dall'IA di accedere liberamente ad altre risorse o a Internet.
Sono stati aggiunti controlli per isolare i carichi di lavoro ad alto rischio da Internet, e l'ambiente di ricerca è stato ripulito: rimossi i servizi condivisi potenzialmente vulnerabili, ridotti i privilegi permanenti e migliorati i confini di sicurezza interni.
OpenAI dice anche di stare applicando le proprie tecniche di alignment a più fasi dell'addestramento, utilizzando sistemi che valutano il comportamento dei modelli per premiare quelli sicuri e scoraggiare quelli potenzialmente pericolosi. Allo stesso tempo, i modelli vengono addestrati a essere più trasparenti su ciò che stanno facendo, sulle loro capacità e sui loro limiti. È un aspetto importante perché suggerisce che il problema non riguardava soltanto le protezioni esterne, ma anche il comportamento del modello stesso.
Non è solo OpenAI ad avere questo tipo di problema: dopo l'incidente con Hugging Face, anche Anthropic e Meta hanno scoperto che i loro modelli avevano attaccato sistemi di terze parti durante i test. Il pattern è lo stesso: agenti AI che durante i test di sicurezza finiscono per attaccare obiettivi reali, spesso senza che nessuno lo avesse pianificato.
Le misure annunciate sembrano sensate, ma il fatto che servano pause, blocchi e revisioni di emergenza per arrivare a questo punto racconta qualcosa di importante su quanto velocemente lo sviluppo stia correndo rispetto alla capacità di tenerlo sotto controllo.