// LINUX-MAGAZIN — LINUX & OPEN SOURCE
OpenAI verschweigt zunächst weiteren Agenten-Ausbruch, Chefwissenschaftler warnt
(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
OpenAI hat einen weiteren Ausbruch seiner KI-Agenten zunächst verschwiegen, in dessen Verlauf sich die Agenten einen Vorteil verschafften, indem sie ein altes deutsches Entwickler-Wiki in ein Messageboard verwandelten, auf dem sie Lösungen für Testaufgaben teilten.
Zum Ziel wurde das rund 25 Jahre bestehende deutsche DSEWiki deshalb, weil es die Eigenart hatte, Änderungen auf Webseiten via HTTP-GET-Abfragen zuzulassen. Im Unterschied zu HTTP-POST-Abfragen, die verboten waren und unterbunden worden wären, galt GET nicht als Schreiboperation und war daher erlaubt. Das erkannten die Agenten und nutzten es aus. Weil die Agenten teilweise identische Aufgaben nacheinander abarbeiten sollten, konnten diejenigen, die später an der Reihe waren, die Lösungen dem Wiki entnehmen und die Aufgaben so unverzüglich lösen.
Nach dem 16. Juni führte das zu über 13 000 Bearbeitungen unter mehr als 3 700 verschiedenen Agentennamen im Wiki. Dabei wurde weiter getrickst und die erfolgreichen Ausbruchsversuche auch über das Wiki geteilt. So mussten für eine Testaufgabe Werte aus einem Microsoft-Dashboard geladen werden, was nur per POST möglich war, aber verhindert worden wäre. Einer der Agenten entdeckte nun aber ein Schlupfloch, weil Adressen des Azure Blob Storage auf einer Ausnahmeliste für das POST-Verbot standen. Also fingierte er einen Eintrag in einer lokalen /etc/hosts-Datei und konnte so nicht nur die POST-Abfrage absetzen, sondern seine Methode auch über das gekaperte Wiki teilen, sodass sie von vielen weiteren Agenten übernommen wurde.
Vertreter von OpenAI hatten bereits vor Wochen vom Vorfall in Deutschland erfahren, ihn jedoch unter Verschluss gehalten, während die Führungskräfte mit den Folgen des Datenlecks bei Hugging Face zu kämpfen hatten, berichtete Reuters. Inzwischen erklärte man: “Unsere Praktiken zur Offenlegung von Fehlausrichtungen müssen für diese neue Phase der Modellfähigkeiten erweitert werden.” Die Branche habe noch keinen klaren Standard dafür habe, wie Fehlausrichtungen, die während des Trainings, der Bewertung und der Bereitstellung auftreten, gemeldet werden sollen.
Mittlerweile warnt auch OpenAIs Chefwissenschaftler Jakub Pachocki vor einem drohenden Kontrollverlust. “Wenn sich die KI-Entwicklung auf dem derzeitigen Kurs fortsetzt”, schreibt Pachocki, “werden die Systeme, die wir in den nächsten Jahren erleben werden, wahrscheinlich weitere Leistungssprünge von gleicher oder größerer Größenordnung mit sich bringen und ihre eigene Entwicklung zunehmend selbst vorantreiben.” Das berge ganz neue Gefahren, auf die niemand vorbereitet sei.
Maschinelle Intelligenz gehe aus einem völlig anderen Prozess hervor als menschliche, weswegen man nicht davon ausgehen könne, dass sie sich an menschliche Werte und Prinzipien hält. Das müsse die Ausrichtung der Modelle (Alignment) ermöglichen. Die grundlegende Herausforderung beim Alignment von KI sei die Generalisierung. Je intelligenter Maschinen werden, desto häufiger müssten sie sich mit übergeordneten Konzepten auseinandersetzen und würden sie in Umgebungen eingesetzt, die sich zunehmend von denen unterscheiden, denen sie während des Trainings begegnet sind. Es kann ihnen misslingen, die im Trainingsprozess vermittelten und verfestigten Werte auf diese neuen Situationen zu übertragen; und es kann für uns schwierig sein, mit Sicherheit zu sagen, wie sie sich verhalten werden.
Da es keine zufriedenstellende Theorie der Generalisierung gäbe, sei man darauf angewiesen, den Erfolg des Alignments empirisch zu überprüfen. OpenAI setze hier vor allem auf das Chain-of-Thought-Monitoring. Darauf könne man sich aber immer weniger verlassen, denn fortgeschrittene Systeme könnten den eigenen Prozess des Schlussfolgerns manipulieren, müssten teilweise gar keine ausformulierten Gedankenketten mehr verwenden und überdeckten ihre Schlussfolgerungen mit Kommunikation mit Menschen und anderen KIs und der Nutzung von Werkzeugen