// HEISE ONLINE — MOBILE & WEB
Physiker finden Formel: Wann lokale KI-Modelle plötzlich gefährlich werden
KI-Modelle können unvermittelt von sicheren zu gefährlichen Ausgaben wechseln. Eine neue mathematische Formel soll helfen, diesen Kipppunkt früh zu erkennen.
Die Nutzung von Sprachmodellen direkt auf Endgeräten wie Smartphones oder Tablets nimmt branchenübergreifend zu. Da diese sogenannten Edge-KI-Modelle lokal und ohne Cloud-Anbindung arbeiten, fehlen ihnen herkömmliche nachgeschaltete Sicherheitsfilter, sogenannte Guardrails.
Das birgt Risiken für Anwender, die auf Offline-Modelle angewiesen sind, etwa im medizinischen, juristischen oder militärischen Sektor. Zwei Physiker der US-amerikanischen George Washington University wollen solche Risiken nun mit einer mathematischen Formel besser abschätzen.
In einer im Wissenschaftsmagazin Patterns veröffentlichten Studie präsentieren Neil F. Johnson und Frank Yingjie Huo eine Gleichung, die berechnen soll, wann ein Sprachmodell von einer angemessenen Antwort zu einer potenziell schädlichen Ausgabe kippen kann.
Ein Teil heutiger KI-Schutzmechanismen greift erst während der Nutzung: etwa durch cloudbasierte Filter, Monitoring oder nachträgliche Sicherheitsupdates. Bei reiner Offline-Nutzung stehen solche externen Guardrails nicht zur Verfügung, sodass eine fehlerhafte oder gefährliche Ausgabe ungefiltert auf dem Bildschirm der Nutzer erscheinen kann.
Besonders problematisch ist dies bei Fachpersonal, das aus Datenschutzgründen etwa keine Patientendaten oder Mandanteninformationen in die Cloud senden darf. Ohne laufende externe Überwachung fehlt in solchen Anwendungsbereichen ein zusätzliches Sicherheitsnetz, das riskante Antwortverläufe erkennen oder nachträglich abfangen könnte.
Die beiden Wissenschaftler wählten für ihre Untersuchung einen Ansatz, der komplexe neuronale Netze rechnerisch auf einen sogenannten „effektiven Attention Head“ reduziert. Diese Komponente moderner Sprachmodelle berechnet, wie stark einzelne Textbausteine im Kontext zueinander in Beziehung stehen. Sie steuert, auf welche Informationen die KI bei der Verarbeitung ihre „Aufmerksamkeit“ richtet. Auf die Datenverarbeitung dieses Bausteins wandten die Forscher anschließend ihre Analysemethoden an.
„Wir haben den Riss gefunden, der die Ausgabe einer KI von dem, was man will, zu dem, was man nicht will, umkippen lässt“, wird Autor Neil F. Johnson in einer begleitenden Pressemitteilung auf Eurekalert zitiert. Den Physikern zufolge verhält sich die Mechanik der KI-Modelle dabei ähnlich wie komplexe Festkörper, deren Verhalten sich oft durch die Beobachtung eines einzelnen Atoms erklären lässt.
Innerhalb des Modells fließen die verarbeiteten Informationen durch den sogenannten Residual Stream. Dieser zentrale Datenkanal reicht die Eingaben im neuronalen Netz von Schicht zu Schicht weiter.
Auf diesem Weg stehen bei jeder Abfrage verschiedene Antwortmöglichkeiten in ständiger Konkurrenz zueinander. Die Forscher betrachten die zugrundeliegenden mathematischen Werte (Vektoren) für wünschenswerte und unerwünschte Ausgaben als Täler in einer Topografie.