// PUNTO INFORMATICO — INTELLIGENZA ARTIFICIALE
Perché Nadella dice di non fidarsi dei modelli AI
Oggi Microsoft ha presentato un nuovo approccio alla sicurezza degli agenti AI, con novità in Microsoft 365 E7, Agent 365 e Project Perception.
L’annuncio non arriva dal nulla. La settimana scorsa Microsoft aveva già parlato di Windows e di come proteggere gli agenti sul sistema operativo: MXC, identità per gli agenti e controlli di governance. In mezzo c’è il post di Satya Nadella, che chiede più controlli sui sistemi capaci di accedere ai dati, prendere decisioni e agire al posto nostro.
Messi in fila, i pezzi raccontano una cosa sola. Più gli agenti diventano capaci e autonomi, più la sicurezza deve imparare a capire cosa stanno facendo, a limitarne i poteri in base al rischio e a intervenire quando non ci si può più fidare. L’obiettivo è dare ai team di sicurezza visibilità, supervisione e controllo, così che le aziende adottino gli agenti con meno sudori freddi.
Il bersaglio, secondo Nadella, è il nemico che l’azienda ha messo in casa da sola e che paga ogni mese. È un dipendente che ha perso la bussola, quello che in gergo si chiama insider threat.
Sul suo blog personale, all’inizio del mese, ha scritto una cosa che da un amministratore delegato di quel calibro suona quasi eretica: smettiamo di fidarci ciecamente dei fornitori di modelli, anche quando giurano che è tutto sicuro. Servono sistemi separati, non controllati dai laboratori di AI, che guardino e frenino gli agenti partoriti da quegli stessi laboratori.
Le sue parole: Stiamo mettendo in campo sistemi e modelli agentici complessi, con accesso ai nostri dati più sensibili e con la possibilità di compiere azioni critiche per conto nostro! Non possiamo appaltare la responsabilità di ciò che l’intelligenza artificiale fa al posto nostro. Le rassicurazioni di chi fornisce il modello non ci sollevano da questa responsabilità. In altre parole, bisogna separare la fornitura di intelligenza dall’autorità su di essa. Non ci si può fidare. Detto così, senza giri
Hayete Gallot, che guida la divisione sicurezza di Microsoft, è stata ancora più brusca: Purtroppo i modelli di frontiera, a prescindere dalla loro origine, non sono affidabili.
Non perché siano malvagi o facili da scardinare, precisa. Il punto è che sono imprevedibili. Sono stati addestrati a portare a casa il compito, non a rispettare le norme o il giudizio dell’azienda. Un cane da riporto bravissimo, insomma, che però non distingue il bastone dal pollo arrosto della domenica.
E questi cani, spesso, hanno le chiavi del regno: dati, strumenti, accessi con cui si combinano guai seri.
La prima mossa è togliere agli agenti il vizio di ereditare tutto. Finora un agente tende a prendersi i privilegi dell’utente che lo usa, come un tirocinante a cui si consegna il mazzo di chiavi del direttore.