// PUNTO INFORMATICO — INTELLIGENZA ARTIFICIALE
ChatGPT mente? 3 tecniche per costringerlo a dire la verità
Mettiamo il caso che qualcuno chieda al chatbot di selezionare le dieci migliori testimonianze dei clienti da un foglio di calcolo. Il chatbot le consegna in pochi secondi. Sembrano convincenti e pronte da pubblicare. Solo che nel foglio di calcolo quelle frasi non esistono. Nemmeno una. Il chatbot le ha inventate di sana pianta, confezionandole con nomi, dettagli e un tono così credibile che senza un controllo incrociato sarebbe difficile sbugiardarla. Ebbene, sì, può capitare, e succede quando ci si fida troppo della prima risposta.
Non è un caso isolato e nemmeno un difetto di fabbrica, è il comportamento normale di uno strumento che fa esattamente quello per cui è stato progettato, solo che lo fa troppo bene. I modelli di intelligenza artificiale, non solo ChatGPT, sono costruiti per essere utili e completi, il che significa che preferiscono produrre una risposta plausibile piuttosto che ammettere di non sapere qualcosa.
Le ricerche condotte da OpenAI in collaborazione con il Politecnico della Georgia confermano il meccanismo: i sistemi di valutazione con cui vengono addestrati i modelli premiano le ipotesi azzardate più dell’ammissione di incertezza. In altre parole, il chatbot impara che inventare è meglio che fare scena muta.
La buona notizia è che esistono tecniche concrete per ridurre drasticamente il problema. Un test clinico condotto su sei modelli diversi ha dimostrato che una semplice istruzione esplicita contro le invenzioni riduce il tasso medio di allucinazioni da circa il 66% a circa il 44% per cento. Non è la perfezione, ma è un miglioramento di oltre venti punti percentuali ottenuto con una sola riga di testo. Vale la pena sapere come fare.
Se non si dice al chatbot di non inventare, lui inventerà. Bisogna stabilire le regole prima di porre la domanda, non dopo aver scoperto che la risposta contiene dati falsi.
Il prompt che segue impone al modello una serie di divieti espliciti e gli fornisce una frase standard da usare quando non riesce a verificare un’informazione. Quest’ultimo dettaglio è più importante di quanto sembri, e vale la pena capire perché. Il chatbot inventa perché sente la pressione di dare una risposta completa. Offrirgli un’alternativa accettabile gli dà il permesso di non dover riempire i vuoti con materiale di fantasia.
Prompt: Prima di rispondere alla mia prossima domanda, segui queste regole senza eccezioni: non inventare studi, articoli, libri, collegamenti, citazioni, esperti, aziende, esempi di clienti o dati numerici. Se non disponi di una fonte verificata per un’affermazione, scrivi esattamente: “Non dispongo di una fonte verificata per questa informazione.” Segnala qualsiasi statistica o dato di riferimento che dovrei verificare in modo indipendente. Indica se le informazioni che fornisci potrebbero essere superate rispetto alla tua data di addestramento. Distingui chiaramente tra affermazioni provate, inferenze ragionevoli e suggerimenti creativi. Ora rispondi alla seguente domanda: [inserire la domanda]
Il primo metodo dice a ChatGPT cosa non deve fare. Il secondo ribalta la prospettiva e gli dice cosa deve fare, ovvero mostrare le prove di ciò che afferma. La seconda istruzione è più efficace perché sposta l’onere della prova sul modello.
Questo approccio richiede al chatbot di lavorare con una lista di controllo iniziale, di citare la fonte specifica per ogni affermazione, di mostrare i calcoli dietro ogni numero e di dichiarare esplicitamente quando un’informazione non è verificabile. Il risultato è una risposta più lunga, senza dubbio, ma di certo più affidabile, e soprattutto facile da verificare, perché ogni affermazione porta con sé il riferimento da cui proviene.
Prompt: Agisci come un assistente di ricerca il cui obiettivo principale è l’accuratezza e la verificabilità delle informazioni, privilegiandole rispetto alla velocità di risposta e allo stile. Per questa richiesta: Prima di iniziare, prepara una lista di controllo di 3-7 punti che identifichi le inform