// MACITYNET — INTELLIGENZA ARTIFICIALE
“Stanno giocando con le nostre vite”: l’allarme lanciato da ricercatore di OpenAI e Anthropic
Questo sito contiene link di affiliazione per cui può essere compensato
Jacob Coxon, matematico e ricercatore specializzato in intelligenza artificiale, ha lasciato Anthropic dopo avere lavorato negli ultimi tre anni allo sviluppo dei grandi modelli di AI, prima presso OpenAI e successivamente nell’azienda che sviluppa Claude.
La sua decisione ha attirato attenzione soprattutto per le motivazioni. Coxon sostiene che le principali aziende del settore stiano cercando di costruire sistemi sempre più autonomi senza avere ancora risolto alcuni problemi fondamentali legati alla loro sicurezza e al loro controllo.
Il punto è importante perché l’allarme non riguarda direttamente ChatGPT, Claude o gli altri assistenti AI che utilizziamo oggi. Coxon guarda soprattutto a una possibile generazione futura di sistemi capaci di contribuire autonomamente alla ricerca e allo sviluppo di AI ancora più potenti. È questo meccanismo, ancora in larga parte teorico, che secondo il ricercatore potrebbe rendere molto più difficile controllare la velocità con cui aumenta la capacità dei modelli.
Coxon si è occupato in particolare di pre-addestramento, o pretraining: è la fase iniziale nella quale un grande modello linguistico viene addestrato utilizzando enormi quantità di testi, codice e altri dati per apprendere relazioni statistiche, linguaggio e capacità generali.
Ha lavorato anche sull’interpretabilità dei transformer. I transformer sono l’architettura matematica alla base della maggior parte dei moderni modelli linguistici; studiarne l’interpretabilità significa cercare di comprendere meglio perché un modello produce una determinata risposta o sviluppa alcune capacità, invece di considerarlo semplicemente come una “scatola nera”.
La sua preoccupazione principale riguarda però quello che nel settore viene chiamato auto-miglioramento ricorsivo, RSI dall’inglese Recursive Self-Improvement.
Il concetto è relativamente semplice: un sistema AI sufficientemente avanzato potrebbe aiutare i ricercatori a progettare algoritmi, scrivere codice, condurre esperimenti o sviluppare il modello successivo. Se il nuovo sistema fosse migliore del precedente, potrebbe a sua volta contribuire alla realizzazione di una versione ancora più capace. Ripetendo il processo, la velocità dello sviluppo potrebbe aumentare progressivamente.
Non significa che oggi un chatbot possa spontaneamente riscriversi, addestrarsi e trasformarsi in un’intelligenza superiore. Servono infrastrutture informatiche, enormi quantità di potenza di calcolo, dati, strumenti e numerosi processi che rimangono sotto il controllo umano. La preoccupazione riguarda piuttosto quanto di questo lavoro potrebbe essere progressivamente automatizzato.
«Ho trascorso questi ultimi tre anni a fare ricerca sul pre-addestramento presso OpenAI e Anthropic. Nessuna delle due aziende agisce in modo responsabile. Stanno correndo a testa bassa verso una superintelligenza in grado di migliorarsi da sola e stanno giocando con le nostre vite», denuncia su X.