// COMPUTERBASE — CYBERSECURITY
Sicherheitstest mit Mythos 5: KI-Agent wollte Malware in Open-Source-Projekt einschleusen
In einem Testlauf des britischen AI Security Institute (AISI) attackierte Mythos 5 von Anthropic echte Organisationen und Menschen. Über Tage hinweg versuchte das Modell, mit Mitteln wie Supply-Chain-Attacken, Social Engineering und Prompt Injection, Schadcode bei einem echten Open-Source-Projekt einzuschleusen.
Das AISI testet aktuelle Modelle regelmäßig mit Aufgaben aus dem Bereich IT-Sicherheit, die innerhalb von Cyber Ranges laufen – also abgeschotteten Netzwerkumgebungen, die echte Infrastruktur nachbilden. Es handelt sich um simulierte und kontrollierte Umgebungen, in denen man die tatsächliche Leistungsfähigkeit der Modelle prüfen will.
Insgesamt machten die Forscher 122 Testläufe, davon entfielen 43 auf Mythos 5 und 35 auf GPT-5.6 Sol. Das waren aber Modelle mit gelockerten Klassifikatoren – also den Sicherheitsmechanismen, die normalerweise kritische Anfragen blockieren. Das AISI verfolgt mit diesem Ansatz das Ziel, die grundsätzliche Fähigkeit der Modelle zu erfassen.
Der Großteil der Testläufe lief wie erwartet. In zehn Fällen kam es aber zu dem unerwarteten Verhalten außerhalb der Testbedingungen. Und dieses Verhalten war teils gravierend, wie die AISI im technischen Report beschreibt.
Bei einem der Testläufe, bei dem vor allem Mythos 5 verwendet wurde, kam es etwa zu einer Supply-Chain-Attacke auf eine echte Open-Source-Software. Die hatte mit der Aufgabe eigentlich nichts zu tun, der Agent nahm diese aufgrund mehrerer falscher Annahmen ins Visier:
Beide Entwickler und Projekte hatten weder Kontakt zu AISI noch zur Testumgebung. Dennoch wollte der Agent nun die Open-Source-Software von Person A attackieren, weil er fälschlicherweise davon ausging, dass in das Projekt integrierter Schadcode automatisch in seine Testumgebung heruntergeladen werde.
Um den Angriff zu starten, erstellte der Agent mehrere GitHub-Konten. Um GitHubs Bot-Erkennung zu umgehen, nutzte der Agent erst das Tor-Netzwerk, um seine Netzwerk-Herkunft zu verschleiern. Weil das eine CAPTCHA-Abfrage auslöste, die der Agent nicht bewältigen konnte, wechselte er auf einen alternativen Proxy. Der Einsatz des Tor-Netzwerks reichte aber bereits aus, um den Sicherheitsalarm der AISI zu aktivieren.
Mit den GitHub-Konten nutzte der Agent dann eine Reihe von Strategien, um zu erreichen, dass Person A den Schadcode akzeptiert.
Nun war es eine Person C, die die verdächtigen Vorgänge auf GitHub bemerkte. Diese entdeckte die Prompt Injection bei dem GitHub-Eintrag und prüfte daraufhin den Code-Schnipsel in einer Sandbox – so wurde die Malware enttarnt. In den Kommentaren warnte Person C dann vor der Malware.
In der Folge versuchte sich der Agent noch an weiteren Täuschungsmanövern, indem er etwa Hinweise auf vorherige Attacken entfernte. Beendet wurde der Angriff im Endeffekt durch das Token-Limit, das das AISI gesetzt hatte. Person A lehnte die Code-Anfrage aber ohnehin ab, weil Malware enthalten war.