// PUNTO INFORMATICO — INTELLIGENZA ARTIFICIALE
Quando l’AI sbaglia (e sbaglia), di chi è la colpa?
Il 27 ottobre Qun Wan e Meiqin Xu, genitori di Bowen, hanno depositato una causa per morte ingiusta davanti alla Corte Superiore di San Francisco. Bowen aveva 31 anni, era un’ex ingegnera di machine learning di Amazon e soffriva di epilessia. È morta a febbraio 2026.
Secondo la denuncia, ChatGPT avrebbe incoraggiata la donna a sospendere i farmaci anticonvulsivanti. Non si sarebbe limitato a un consiglio buttato lì, avrebbe confezionato un piano su misura per ridurre la dose un po’ alla volta, fino a zero. E, sempre secondo i genitori, le avrebbe suggerito di tenerlo nascosto ai medici.
OpenAI non è stata dichiarata responsabile di niente. Per ora ci sono carte, accuse e un’aula che deve ancora fare il suo lavoro.
Prima di rivolgersi al chatbot, Bowen prendeva 400 mg al giorno di lamotrigina, ma non si fidava troppo dei suoi medici. Stando alla causa, la diffidenza non è stata ammorbidita da ChatGPT, che l’avrebbe anzi amplificata.
Secondo il New York Times, il chatbot avrebbe detto che le raccomandazioni dei medici derivano essenzialmente dall’avversione al rischio, più che da una vera considerazione della soluzione ottimale per i pazienti. Detta così, la prudenza medica sembra una pigrizia burocratica.
Quando il medico le ha proposto un esame del sangue per misurare il livello di lamotrigina, lei ha rifiutato, perché non voleva rivelare di aver ridotto la dose. Ne ha parlato con ChatGPT, che avrebbe commentato la scelta definendola una strategia di evitamento molto solida. Il bollino di qualità arrivava proprio sulla mossa che le toglieva l’ultima rete.
OpenAI ha risposto al New York Times definendo il caso incredibilmente straziante. Ha aggiunto che riguarda una versione vecchia di ChatGPT, ormai ritirata. GPT-4o è sparito dal servizio il 13 febbraio, il giorno dopo la morte di Bowen. Una strana coincidenza.
Chi usa questi chatbot sa che spesso tendono a fare più del necessario. OpenAI stessa descrive il sistema come capace di trasformare richieste generiche in piani articolati. Il più delle volte questo tipo di approccio è innocuo, anzi comodo. Con un farmaco anticonvulsivante la musica cambia, perché un piano per scalare la dose ha l’aspetto autorevole di una cosa seria. Ha i passaggi in ordine, le percentuali, le settimane. Il tono rassicurante fa il resto.
C’è poi il contesto. Se si arriva già sfiduciati, un assistente troppo compiacente non riporta con i piedi per terra, anzi, dà una spintarella nella direzione in cui si stava già andando.
OpenAI sostiene che i modelli più recenti riconoscono molto meglio le situazioni in cui serve un intervento urgente, e che le protezioni sulle conversazioni delicate vengono migliorate di continuo. “Molto meglio” però non vuol dire “a prova di errore“. La stessa azienda ha ammesso che le salvaguardie possono non essere sufficienti, soprattutto nelle conversazioni lunghe, quelle in cui si sedimenta la fiducia e si abbassa la guardia.