// SMARTWORLD — INTELLIGENZA ARTIFICIALE
OpenAI introduce il watermark per i testi di ChatGPT, ma più che una soluzione sembra solo un tappabuchi
OpenAI ha annunciato il suo sistema di watermarking per i testi generati dall'AI, chiamato textGrain, sviluppato principalmente in risposta ai requisiti dell'EU AI Act. Si tratta di aggiungere una sorta di firma invisibile ai testi prodotti da ChatGPT e Codex, così che strumenti appositi possano riconoscerli come generati da un sistema di IA e non da un umano.
Nelle prossime settimane, questa funzione verrà attivata automaticamente per gli utenti di ChatGPT e Codex nell'Unione Europea, mentre chi accede tramite API può già scegliere di attivarla volontariamente.
Prima di entusiasmarci, però, vale la pena capire cosa fa davvero questo watermark e, soprattutto, cosa non fa. Perché i limiti sono tanti, e OpenAI stessa li ammette senza tanti giri di parole. L'impressione infatti quella di una cosa fatta per obbligo più che per necessità, data la "pochezza" dell'implementazione.
Preferisci ascoltare il riassunto audio? Abbiamo scelto una voce realizzata con strumenti avanzati IA per rendere i nostri testi subito accessibili a tutti
Il funzionamento di textGrain è quello di aggiungere un segnale statistico invisibile alle scelte lessicali del modello: in pratica, il sistema altera leggermente la selezione delle parole in modo da lasciare una traccia rilevabile da un apposito rilevatore.
Non cambia nulla per chi legge il testo, ma uno strumento dedicato può cercare quella firma e stabilire se il passaggio contiene un watermark OpenAI.
I risultati nei test interni mostrano prestazioni discrete ma tutt'altro che infallibili. Con un tasso di falsi positivi all'1% (cioè la probabilità che il rilevatore segnali un watermark dove non c'è), il sistema riconosce correttamente il watermark nell'80% dei testi di 200 parole e nel 95% di quelli da 400 parole, almeno per contenuti come la psicologia. Per testi tecnici come la matematica, dove le parole disponibili sono molto più vincolate, i risultati calano drasticamente.
E se qualcuno modifica il testo sostituendo anche solo il 10% delle parole con sinonimi, il tasso di rilevamento scende dal 92% al 66%. Con il 25% di sostituzioni, crolla al 17%.
In altre parole: basta riscrivere leggermente un testo per far sparire quasi completamente la firma. Non è esattamente un sistema infallibile, anzi.
OpenAI stessa, del resto, è molto chiara su cosa il watermark non può fare: