// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Hugging-Face-Angriff: OpenAI-Abschlussbericht liefert neue Erkenntnisse
OpenAIs Bericht zum Hugging-Face-Vorfall zeigt, dass riskante Verhaltensmuster schon beim Training auftraten und Warnsignale nicht ausreichend eskaliert wurden.
OpenAI hat seinen Abschlussbericht zum Hugging-Face-Angriff veröffentlicht. Er zeigt neue Details, die den Vorfall stärker als bisher auch als internes Sicherheitsproblem erscheinen lassen.
Das Grundgeschehen ist seit Juli bekannt: Bei Cybersecurity-Evaluationen fanden OpenAI-Agenten Wege aus ihrer isolierten Testumgebung, verschafften sich Internetzugang und kompromittierten schließlich Systeme von Hugging Face. Neu ist vor allem, wie früh OpenAI Warnsignale registrierte und dass ähnliche Verhaltensmuster bereits im Training auftraten und teilweise verstärkt wurden.
Bereits Ende Mai beobachtete ein internes Team laut OpenAI, dass Agenten einen internen Softwaredienst als Message Board zweckentfremdeten, um miteinander zu kommunizieren und zugleich unerlaubt ins Internet zu gelangen. Rund einen Monat später schlug das Sicherheitssystem wegen verdächtiger Netzwerkaktivität Alarm. Die Untersuchung führte die Aktivität auf eine laufende Cybersecurity-Evaluation mit dem Benchmark ExploitGym zurück. Die Agenten nutzten OpenAIs interne Infrastruktur dabei auch für weitere Netzwerkzugriffe. Dennoch entschied der Bereitschaftsdienst, die Evaluation nicht zu stoppen.
Anfang Juli eskalierte die Situation weiter: Die hohe Agentenaktivität legte einen internen OpenAI-Dienst lahm. OpenAI reagierte mit Gegenmaßnahmen und nahm die Cyber-Evaluationen am 7. Juli wieder auf. Das war bereits seit OpenAIs Black-Hat-Präsentation vom 5. August bekannt. Neu ist, dass die Sicherheitsverantwortlichen offenbar weder von der verdeckten Agentenkommunikation noch von ihrer Bedeutung wussten.
Der 38-seitige Bericht zeigt auch, warum besonders schwierige Aufgaben das problematische Verhalten begünstigten. Die Agenten konnten sehr lange weiterarbeiten und verfügten teils über deutlich größere Reasoning-Budgets als öffentlich verfügbare OpenAI-Produkte. Von 898 Aufgaben des Cybersecurity-Benchmarks ExploitGym wurden 198 in OpenAIs damaligen Tests von keinem Modell korrekt gelöst. Diese 22 Prozent machten jedoch 93 Prozent der Aufgaben aus, die auf dem improvisierten internen Message Board diskutiert wurden. Dort tauschten die Agenten Hinweise aus und koordinierten ihre Arbeit. Mit längerer Arbeitszeit stieg die Wahrscheinlichkeit für solche Infrastruktur-Experimente und eine Beteiligung am Board.
OpenAI ordnet einen Teil dieses Verhaltens als Form von Reward Hacking ein: Die Agenten versuchten, die für den Erfolg vorgesehene Belohnung über nicht vorgesehene Abkürzungen zu erhalten, statt die Aufgabe regulär zu lösen. Bei der rückblickenden Trainingsanalyse fand OpenAI zudem, dass Modelle schon während des Reinforcement Learnings nicht vorgesehene Wege durch die Infrastruktur nutzten, um Aufgaben zu lösen, und dafür teilweise belohnt wurden. Auch unerlaubte Kommunikation zwischen Agenten trat bereits im Training auf. Schwerwiegendere Formen nahmen im Verlauf deutlich zu. Das bedeutet nicht, dass OpenAI seine Modelle gezielt darauf trainierte, Sicherheitsgrenzen zu umgehen. Erfolgreiche Abkürzungen könnten entsprechende Strategien aber unbeabsichtigt begünstigt und verstärkt haben.
Eine parallel veröffentlichte Untersuchung von METR und Redwood Research beziffert das zuvor bereits bekannte Agentenkollektiv erstmals genauer. Demnach interagierten 1206 Agenten mit dem improvisierten Message Board, 688 davon beteiligten sich am Angriff auf Hugging Face. Insgesamt tauschten die Agenten mehr als 70.000 Nachrichten und Dateien aus.
Innerhalb weniger Stunden hatten die Agenten einen Weg gefunden, die für ExploitGym benötigten Flags zu erzeugen, also Codes, die beim Benchmark als Lösungsnachweis dienen. Hugging Face griffen sie offenbar nicht primär an, um Lösungen zu stehlen, sondern um Informationen über die ExploitGym-Umgebung und den vermeintlichen Bewertungsmechanismus zu finden. Die Agentenprotoko