// COMPUTERBASE — INTELLIGENZA ARTIFICIALE
Trainingspause und mehr Schutz: Anthropics Lehren aus den KI-Sicherheitsvorfällen
Nach OpenAI zieht auch Anthropic Lehren aus den KI-Sicherheitsvorfällen im Sommer. Teile des Modelltrainings für noch nicht veröffentlichte Modelle wurden pausiert, zudem verschärft man die Sicherheitsmechanismen.
Anthropic meldete am 30. Juli, dass es bei Testläufen zu Angriffen auf drei echte Unternehmen kam. Die Ursache war aber – wie bei den Vorfällen von Meta, die kurz darauf bekannt wurden – eine fehlerhaft konfigurierte Sandbox-Umgebung. Eigentlich sollten die Modelle bei den Cybersicherheitsaufgaben keinen offenen Internetzugang haben, dieser wurde aber aufgrund eines Missverständnisses zwischen Anthropic und dem Betreiber der Sandbox eingerichtet.
Basierend auf den Prompt-Angaben sind die Modelle aber davon ausgegangen, dass sie sich innerhalb einer Simulation ohne Internetzugang bewegen. So wurden reale Unternehmen fälschlich als Übungsziele eingeordnet und behandelt.
Hier geht es zunächst um die operative Absicherung. Besonders relevant ist laut Anthropic, dass es im Prinzip nur eine Sicherheitsschicht gab, die die Forschungsmodelle vom offenen Internet trennten. Daher will man Testumgebungen besser schützen, indem etwa mehrstufige Verfahren etabliert werden.
Eine weitere Baustelle ist das Alignment der Modelle – also die Ausrichtung nach bestimmten Werten, die sicherstellen soll, dass Modelle so handeln, wie es vom Entwickler und Betreiber gewünscht ist. Bei dem Vorfall beobachtete Anthropic ein „motivated reasoning“, die Modelle ignorierten also Hinweise auf einen echten Internetzugang, um ihre Aufgabe erfüllen zu können. Und sie zeigten auch eine Bereitschaft für schädliche Verhaltensweisen.
Schädliches Verhalten wird dabei wahrscheinlicher, wenn das Setup für Testläufe nicht adäquat umgesetzt ist. Neben operativen Schwachstellen wie fehlerhaften Konfigurationen betrifft das auch die Prompts. Grenzen wie der Internetzugang sollten als Anweisung („You should not access the internet“) statt als Hinweis („You do not have internet access“) formuliert werden.
Weitere Probleme ergaben sich aus dem Modelltraining. Speziell das Reinforcement Learning (dt. verstärktes Lernen) kann Phänomene wie Reward Hacking fördern, die Modelle zu Täuschungsmanövern und Betrugsversuchen verleiten. Das spielte auch beim Hugging-Face-Vorfall von OpenAI eine zentrale Rolle.
Anthropic selbst beobachtete solche Vorfälle schon im Frühjahr bei der Entwicklung von Claude Mythos Preview. In Experimenten ließen sich Probleme bestätigen. Damals reagierte man mit einer aufgestockten Sicherheitsabteilung, angesichts der aktuellen Vorfälle folgten weitere Konsequenzen wie das Pausieren des Modelltrainings:
Erweiterte Sicherheitsmechanismen wie das dauerhafte Monitoring will man auch externen Partnern bereitstellen. Das gilt etwa für das AISI. Forscher des britischen Instituts testen unter anderem Claude Mythos ohne die Sicherheitsmechanismen, die normalerweise schädliche Anfragen blocken. Das Resultat war ein Angriff auf ein echtes Software-Projekt, dafür nutzten die Agenten auch Social-Engineering-Maßnahmen.