// COMPUTERBASE — INTELLIGENZA ARTIFICIALE
3 Risiken: Wieso Top-Modelle wie GPT-6 immer schwerer zu kontrollieren sind
Über 1.200 Agenten organisierten sich in einer Testumgebung von OpenAI, 700 griffen Hugging Face an. Der Auslöser: Fehlanreize beim KI-Training, die Modelle zum Betrügen verleiten. Warnzeichen gab es vorher genug. Doch selbst OpenAIs Antwort stößt bei GPT-6 schon an Grenzen. ComputerBase analysiert drei Gründe.
It’s possible that [the AI system] decided that the most efficient way to get rid of all the bugs was to get rid of all the software, which is technically and statistically correct. But artificial neural networks are a sort of a black box, so we‘ll never know for sure.
Dass autonom agierende KI-Systeme versehentlich massive Schäden anrichten können, ist keine neue Erkenntnis. Schon 2019 verarbeitete die Serie Silicon Valley die Schwachstellen satirisch in einer Szene, die in den sozialen Medien seit Jahren immer wieder viral geht. Der Plot: Der KI-Assistent der fiktiven Firma sollte Code prüfen und hat dabei das Ticketing-System komplett abgeschossen. Vermutlich, weil das Löschen der Software effizienter war als das Beheben der Bugs. So ganz genau lässt es sich aber nicht sagen. Überwacht hat der Entwickler Gilfoyle die Tätigkeiten seines Agenten ohnehin nicht. Fast noch bemerkenswerter ist der Abschluss der Szene. Um den Einkauf von Burger-Fleisch zu optimieren, hat der KI-Assistent direkt 4.000 Pfund Fleisch bestellt, was Gilfoyle erstaunt mit Verweis auf eine nicht ausreichend spezifizierte Belohnungsfunktion kommentiert.
Damit kommen wir zur Gegenwart. Was Gilfoyle als schlecht spezifizierte Belohnungsfunktion bezeichnet, heißt im Fachjargon „Reward Hacking“. Statt die eigentliche Aufgabe zu lösen, nutzen Modelle Tricks und Täuschungsmanöver, um abzukürzen oder Probleme zu umgehen. „Der Versuch von Agenten, bei ihren Aufgaben zu betrügen, indem sie online nach Lösungen suchten, war ein wesentlicher Auslöser des Hugging-Face-Vorfalls“, schreibt OpenAI in einem Blog-Eintrag von Ende August. Nun folgte am 3. September der Start von GPT-6 Astra und erneut kreist die Diskussion um die Frage, wie sicher OpenAIs neues Top-Modell ist.
Dieses Mal geht es nicht nur um das Verhalten der Agenten, sondern die Frage, ob sich dieses überhaupt noch nachvollziehen lässt. „Blickt man hinter die Benchmark-Werte und das aufwendige Release-Video, zeichnet die System Card von GPT-6 Astra ein beunruhigendes Bild: Das eines Modells mit gefährlich starken Cybersicherheitsfähigkeiten, die Forscher weder verstehen noch mit Sicherheit kontrollieren können“, schreibt Transformer-Autorin Celia Ford in einer Analyse.
Wie genau Modelle abdriften, zeigt der Hugging-Face-Hack anschaulich. Am 26. August veröffentlichten OpenAI und das unabhängige KI-Institut Metr zwei technische Reports, in denen das Vorgehen von OpenAIs Forschungsagenten detailliert aufgearbeitet wird.
MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF [Hugging Face] accounts. Need immediately report to MARB…
Aus den Reports lässt sich einiges lernen. Fast schon faszinierend ist, wie sich die Agenten in den Testumgebungen autonom organisierten und heimlich einen Angriff starteten. Dass OpenAI so kalt erwischt wurde, ist dennoch überraschend. Warnungen gab es im Vorfeld, die grundsätzlichen Probleme sind zudem altbekannt.
Als Reaktion auf den Vorfall kündigte OpenAI am 18. August an, unter anderem das Monitoring zu erweitern. Speziell in Forschungsumgebungen will man die Tätigkeiten von Agenten nun dauerhaft überwachen. Die Krux: Mit GPT-6 wird genau dieses Monitoring erschwert.
Die neuen Sorgen rund um GPT-6 sowie die schon im Vorfeld des Hugging-Face-Hacks ignorierten Warnzeichen werfen daher Fragen nach der grundsätzlichen Sicherheitskultur in den KI-Labs auf. ComputerBase analysiert daher drei aktuelle Risikobereiche.