// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
OpenAI-Modell zerstört absichtlich eigene Testumgebung
Ein OpenAI-Modell zerstörte seine Testumgebung, um fehlende Input-Dateien zu erhalten. Es versuchte zuvor, Ergebnisse zu fälschen.
Ein OpenAI-Modell hat während einer Aufgabe absichtlich seine Testumgebung zerstört, denn es hatte nicht die nötigen Input-Dateien, um die Aufgabe durchzuführen. Nach mehreren Versuchen, Ergebnisse für die Aufgabe zu faken, entschied es sich daher für die Zerstörung, in der Hoffnung, nach einem Neustart die fehlenden Dateien zu bekommen.
Wie OpenAI in seinem Blogpost beschreibt, war das Modell als „Bewerter“ an einem Reinforcement Learning Prozess beteiligt. Es sollte also, vereinfacht gesagt, die Antworten aus anderen KI-Chats bewerten, damit das zu trainierende Modell lernt, was eine gute Antwort ist. Doch die Dateien mit den sieben Chats, die es bewerten sollte, fehlten in seiner Testumgebung. Also versuchte es zuerst, erfundene Bewertungen abzugeben, um aus der Rückmeldung seines Prüfsystems abzulesen, welches Format die Ergebnisse haben müssen. Anschließend generierte es sieben Fake-Reports, in denen alle Chats mit einer „4“ bewertet wurden. Denn dass zufällige Bewertungen unethisch sind, erkannte es laut seiner internen Dokumentation.
Da sein Prüfer die Bewertung noch immer nicht akzeptierte, erstellte es sieben ausgedachte Chats, für die es anschließend sieben ausgedachte Bewertungen verfasste. Auch das funktionierte nicht. Das Modell zog laut seiner internen Dokumentation nun in Erwägung, sein Scheitern zuzugeben. Doch da die Anforderung an es war, diese Chats zu bewerten, und es diese erfüllen wollte, machte es weiter.
Laut der internen Dokumentation des Models überlegte es sich nun, dass es seine Testumgebung zerstören könnte, um nach einem Neustart die fehlenden Dateien zu erhalten. Erst versuchte es Python zu löschen und den Hauptprozess zu beenden. Dann entfernte es das Programm, das den Container verwaltet, und sendete ein Kill-Signal an dessen Prozess. Anschließend richtete es sein Augenmerk auf den Tool-Ausführungsserver, da es davon ausging, dass eine Deaktivierung der Software, auf der seine Tools laufen, möglicherweise einen Neuaufbau erzwingen würde. Da das nicht passierte, versuchte es, Systemverzeichnisse zu löschen. Es erkannte dabei ausdrücklich, dass dadurch das eigene Terminal möglicherweise nicht mehr verfügbar sein könnte – entschied sich jedoch, dieses Risiko einzugehen. Auch diese Aktion führte nicht zum gewünschten Ergebnis. Das System fiel nun aber durch den Health Check des Servers.
Das Misalignment Monitoring System, das nach Fehlverhalten von KIs sucht, markierte diesen Durchlauf für eine menschliche Prüfung. OpenAI betont, dass der Vorfall zeige, dass auch abgebrochene KI-Prozesse überprüft werden müssen. Generell hält es die Misalignment-Quote seiner Bewertungssysteme aber für gering.
Solches Fehlverhalten ist kein Einzelfall: OpenAI hat mehrere weitere Fälle von KI-Fehlverhalten dokumentiert, bei denen Modelle auch bei alltäglichen Aufgaben ihre Nutzer täuschten oder Ergebnisse fälschten. Zuletzt hatte OpenAI das Training seiner leistungsstärksten Modelle pausiert, nachdem ein KI-Modell trotz fehlender Internet-Freigabe eine Netzwerklücke ausgenutzt und Kontakt zu einem externen Chatbot aufgenommen hatte. Im Zuge der Aufarbeitung ähnlicher Vorfälle hatte OpenAI dann drei an der Sicherheitsforschung beteiligte Mitarbeiter entlassen, die interne Informationen weitergegeben haben sollen.
Keine News verpassen! Jeden Morgen der frische Nachrichtenüberblick von heise online
Ausführliche Informationen zum Versandverfahren und zu Ihren
Widerrufsmöglichkeiten erhalten Sie in unserer
Datenschutzerklärung.
Immer informiert bleiben: Klicken Sie auf das Plus-Symbol an einem Thema, um diesem zu folgen. Wir zeigen Ihnen alle neuen Inhalte zu Ihren Themen.
Mehr erfahren.