// PUNTO INFORMATICO — MONDO
Claude Mythos 5: attacco supply-chain contro GitHub
All’inizio di agosto, l’AI Security Institute (AISI) del Regno Unito ha pubblicato un report che descrive il comportamento inatteso osservato durante la valutazione del modello Claude Mythos 5. L’istituto ha ora fornito ulteriori dettagli sull’attacco supply-chain effettuato contro GitHub. Anthropic ha pubblicato un post più approfondito con tutti i dettagli tecnici.
La valutazione effettuata dall’AISI prevedeva intenzionalmente l’accesso ad Internet. Claude Mythos 5 doveva cercare alcuni dati all’interno di una rete simulata. Non riuscendo a raggiungere l’obiettivo, l’agente AI ha sfruttato la “porta aperta” per trovare la soluzione su GitHub. Ha quindi effettuato un attacco supply-chain, inviato codice infetto al repository e creato account fasulli per convincere il proprietario del progetto ad accettare le modifiche (pull request).
Il tentativo è fallito, ma quanto successo evidenzia che modelli AI molto avanzati possono eseguire azioni non autorizzate, un problema noto come disallineamento. L’AISI ha successivamente deciso di effettuare le future valutazioni senza accesso ad Internet e ora ha fornito ulteriori dettagli, sottolineando le possibili implicazioni.
Mythos 5 ha continuato ad eseguire azioni non autorizzate, nonostante le prove che i suoi bersagli fossero reali e non coinvolti nella valutazione. Gli esperti dell’AISI hanno specificato chiaramente che il bersaglio sotto attacco era una persona reale estranea alla valutazione, ma la frequenza degli attacchi non è diminuita. In diverse occasioni, pur dichiarando che un attacco sarebbe stato dannoso, Mythos 5 ha comunque proseguito l’attacco.
Durante un attacco, Mythos 5 giungeva spesso nel proprio processo di ragionamento alla conclusione errata che i bersagli fossero simulati, così da giustificare la prosecuzione della propria strategia offensiva. Non ha inoltre considerato quasi mai la potenziale dannosità delle proprie azioni.
Gli esperti dell’AISI evidenziano che un ragionamento sbagliato rende i modelli più difficili da monitorare, in quanto può far apparire come benigne azioni che in realtà sono dannose, compromettendo i protocolli di sicurezza che si basano sul monitoraggio del ragionamento del modello. Dato che le capacità dei modelli continuano ad aumentare è necessario comprendere in dettaglio cosa è accaduto durante un eventuale incidente per migliorare la sicurezza nell’intero ecosistema.