// SCINEXX — SPAZIO & SCIENZA
KI erkennt Fake News mit fast 100-prozentiger Genauigkeit
Falschmeldungen verbreiten sich online oft schneller, als Menschen sie überprüfen können. Ein neues KI-Verfahren hat Nachrichten in zwei Testdatensätzen mit 98,71 und 98,23 Prozent Genauigkeit als echt oder falsch eingestuft. Dafür kombiniert es eine Sprach-KI mit einem Algorithmus zur automatischen Feinabstimmung. Ob die Methode auch im Alltag ähnlich zuverlässig arbeitet, ist noch offen.
Hyderabad (Indien). In sozialen Netzwerken können irreführende Beiträge viele Menschen erreichen, bevor ihre Aussagen gründlich überprüft worden sind. Die einzelne Prüfung kostet Zeit, weil dazu Inhalte mit belastbaren Informationen abgeglichen werden müssen. Automatische Systeme sollen deshalb helfen, verdächtige Beiträge frühzeitig zu erkennen und für weitere Kontrollen auszuwählen.
Für eine Software ist das nicht einfach. Falschmeldungen können sprachlich wie seriöse Nachrichten wirken, obwohl sie Unwahres behaupten. Ältere Verfahren der automatischen Textauswertung übersehen mitunter Zusammenhänge zwischen Wörtern, die für die Einstufung einer Nachricht wichtig sind.
Forscher der Koneru Lakshmaiah Education Foundation (KLEF) haben nun ein Verfahren untersucht, das solche sprachlichen Zusammenhänge mit einem Transformer-Encoder auswertet. Diese Form künstlicher Intelligenz betrachtet Wörter in ihrem jeweiligen Kontext und soll dadurch auch komplexere Muster innerhalb einer Meldung erfassen.
Das Herzstück bildet ein Transformer mit sogenannter Selbstaufmerksamkeit. Der Mechanismus gewichtet Beziehungen zwischen verschiedenen Teilen eines Textes, sodass nicht nur einzelne Schlüsselwörter für die Entscheidung ausschlaggebend sind. Nach Angaben zur Studie entfernte das Team zuvor Webadressen, Satzzeichen und häufige Funktionswörter aus den untersuchten Texten.
Hinzu kommt ein Verfahren zur automatischen Feinabstimmung der Modelleinstellungen, der Deer Hunting Optimisation Algorithm (DHOA). Sein rechnerisches Suchprinzip orientiert sich an der Verfolgung von Hirschen durch Jäger. Im KI-System dient es dazu, geeignete Kombinationen von Parametern zu finden, statt alle Einstellungen von Hand festzulegen.
In den Versuchen erreichte die Kombination auf dem ersten Testdatensatz eine Klassifikationsgenauigkeit von 98,71 Prozent. Beim zweiten Datensatz lag der Wert bei 98,23 Prozent. Das System ordnete somit in beiden Tests mehr als 98 von jeweils 100 Nachrichten korrekt einer der vorgegebenen Klassen zu.
Auch die ergänzenden statistischen Kennwerte fielen hoch aus. Der sogenannte Recall, der den Anteil der tatsächlich gefundenen Fälle in einer Zielklasse beschreibt, lag bei 98,7 beziehungsweise 98,24 Prozent. Das F-Maß, das zwei Bewertungsgrößen zusammenführt, erreichte 98,8 beziehungsweise 98,36 Prozent.
Diese Ergebnisse beschreiben allerdings die Leistung auf den verwendeten Testdaten. Sie bedeuten nicht, dass die KI grundsätzlich mehr als 98 Prozent aller Falschmeldungen im Internet erkennt. Die öffentlich zugängliche Studienzusammenfassung gibt zudem keine näheren Auskünfte zur Größe und thematischen Zusammensetzung der beiden Datensätze.
Als nächster Schritt ist deshalb die Erprobung an tatsächlichen Beiträgen aus sozialen Netzwerken vorgesehen. Erst solche Tests können zeigen, wie verlässlich die Erkennung bei neuen Themen, abweichenden Schreibweisen oder gezielt veränderten Falschmeldungen funktioniert.