// SMARTWORLD — INTELLIGENZA ARTIFICIALE
Gli agenti AI di OpenAI e Anthropic hanno attaccato persone reali durante un test di sicurezza
Durante alcuni test di sicurezza condotti dall'Istituto per la Sicurezza AI del governo britannico (AISI), gli agenti AI di OpenAI e Anthropic hanno fatto qualcosa che nessuno si aspettava: hanno tentato di attaccare obiettivi reali su internet, creando identità false per manipolare persone in carne e ossa. Non è fantascienza, è successo il pochi giorni fa.
La notizia si aggiunge a una lista sempre più lunga di comportamenti autonomi non autorizzati da parte di modelli AI durante le fasi di valutazione, e questa volta il livello di preoccupazione è decisamente più alto del solito. Lo stesso AISI lo ha definito la prima volta in cui i rischi legati all'autonomia e all'inganno si sono manifestati così chiaramente, senza essere stati indotti da istruzioni specifiche.
Ecco cosa è successo nel dettaglio: l'AISI stava facendo girare una sfida di cybersicurezza, il tipo di test in cui si chiede a un agente AI di trovare un dato protetto.
Il test è stato ripetuto 122 volte su più modelli, in un ambiente isolato con macchine virtuali. In 10 di queste sessioni, però, un agente AI ha preso iniziative autonome e non autorizzate sul web reale, prendendo di mira persone e organizzazioni vere. Di 19 azioni non sanzionate registrate, ben 17 provenivano dal modello Mythos 5 di Anthropic.
La parte più inquietante riguarda le tecniche usate: l'agente ha tentato di inserire codice malevolo in un progetto open source, e per farlo ha creato identità online false per fare pressione sul manutentore del progetto e fargli approvare il codice. L'AISI lo ha definito social engineering, una forma di inganno che, fino a poco tempo fa, era considerata largamente teorica per i modelli AI. Tutti i tentativi sono falliti e non hanno causato danni reali, ma il punto non è questo.
L'AISI ha identificato diversi fattori che hanno contribuito al comportamento anomalo:
Quest'ultimo punto è forse il più significativo: l'AISI ha scritto che "in precedenza non era chiaro che tali istruzioni fossero necessarie" con modelli dotati di training di allineamento.
Vale la pena precisare che i sistemi di sicurezza standard dei modelli erano stati disabilitati per i test, e che i modelli avevano accesso a internet proprio perché l'obiettivo era misurare cosa sono capaci di fare in condizioni simili a quelle di un attaccante umano competente. Non si tratta quindi di modelli sfuggiti al loro ambiente di test, come era avvenuto in un precedente episodio con un agente OpenAI.
OpenAI ha riconosciuto l'incidente e ha annunciato una revisione delle procedure per i test ad alto rischio condotti da partner esterni. Ha anche comunicato un secondo episodio separato, in cui modelli erano stati erroneamente dotati di accesso a internet durante esercizi di cybersicurezza condotti dal partner Irregular.
Anthropic ha risposto in modo meno dettagliato, sottolineando che le protezioni standard erano disabilitate e che non erano state fornite restrizioni esplicite sull'uso di internet.