// TOM'S HARDWARE ITALIA — INTELLIGENZA ARTIFICIALE
L'AI ha bisogno degli occhiali? A volte sì, e la colpa è di umani che hanno annotato male i dati
Sette dataset di object detection usati ogni giorno per addestrare sistemi di visione artificiale, da MS-COCO a Open Images, Pascal VOC, LVIS, DOTA, FSOD e Object365, contengono tassi di errore di annotazione che vanno dallo 0,45% di LVIS al 2,73% di DOTA, sei volte tanto. Lo trova il primo censimento sistematico del genere, condotto da un gruppo di ricercatori dell'Università Sejong di Seul su un campione di circa 47.000 immagini, ispezionate da 15 persone: dieci per individuare gli errori, cinque per verificarli. Lo studio elenca tra gli errori più frequenti le etichette scorrette (236 casi), le annotazioni incoerenti (111) e gli errori di localizzazione dei riquadri (100).
Gli errori hanno corrotto i segnali di addestramento e reso incoerenti le annotazioni, le metriche di valutazione sono risultate distorte proprio sulle soglie più esigenti, e il danno si è concentrato sugli oggetti piccoli, occlusi o di classe rara: proprio i casi in cui un sistema di visione deve essere più affidabile. I modelli imparano scorciatoie specifiche del dataset su cui sono stati allenati, e quelle scorciatoie non reggono quando lo stesso sistema incontra immagini reali fuori da quel contesto.
Il confronto dataset per dataset mostra quanto vari il livello di rumore da un dataset all'altro: LVIS resta il più pulito con 112 errori su 25.000 immagini ispezionate (0,45%), Pascal VOC segue con 46 su 8.000 (0,57%). Open Images e DOTA chiudono la classifica: il primo con 240 errori su 10.400 campioni (2,31%), il secondo con 51 su appena 1.869 immagini, la percentuale più alta del gruppo (2,73%). FSOD e Object365 compaiono nel censimento con 100 e 140 errori, ma senza una base campionaria dichiarata su cui calcolare un tasso comparabile.
Lo studio propone quattro famiglie di correzione, e le mette in fila per costo e per quanto riescono a risolvere davvero. La revisione manuale resta, per gli autori, l'unica che scioglie con certezza i casi ambigui, ma richiede tempo e persone in proporzione diretta alla dimensione del dataset. All'estremo opposto, il metodo automatico puro scala meglio: la procedura MJ-COCO, applicata a MS-COCO, ha corretto 52.621 immagini anomale sulle 123.287 totali, il 42,7% del dataset.
Un esperimento più piccolo su Mini6K ha corretto oltre il 12% delle 6.000 immagini esaminate, segno che la resa del metodo automatico cambia parecchio da un dataset all'altro. Le due vie intermedie, a supervisione leggera e semi-supervisionata, provano invece a bilanciare le prime due: la prima lavora su grandi quantità di immagini senza etichetta, la seconda accetta un compromesso fra costo e precisione.
Una ricerca di qualche anno fa, condotta da Curtis Northcutt e colleghi, aveva già trovato un problema simile su tutt'altri dataset: una media del 3,4% di errori di etichettatura su dieci raccolte molto diverse tra loro, dal 6% del test set di CIFAR-100 a circa il 4% di Amazon Reviews, fino al 10% di QuickDraw. Bastava un aumento del 5-6% negli esempi mal etichettati per cambiare la classifica dei modelli su ImageNet e CIFAR-10, gli stessi dataset su cui l'industria continua a confrontare le proprie architetture.
Le aziende che addestrano o affinano sistemi di visione su questi dataset ereditano lo stesso rumore, e lo fanno proprio mentre il resto del settore si accorge che un progetto AI su cinque fallisce per i dati che lo alimentano, prima ancora che per il modello. Guardare solo al modello nasconde dove nascono gli errori: lo stesso principio che emerge dalle aziende che faticano a portare l'AI in produzione, e che una ricerca di Microsoft su descrizioni testuali delle immagini ribalta da un altro angolo: annotazioni più ricche battono dataset più grandi. Il tema si allarga anche alla scarsità di dati di qualità che spinge i laboratori verso l'addestramento sintetico, e alla necessità di controlli sistematici come quelli proposti per il bias algoritmico nelle decisioni automatizzate.
Il censimento di Seul mette il problema in numeri: un