// LINUXNEWS.DE — LINUX & OPEN SOURCE
Wenn KI-Agenten aus der Backdoor-Historie lernen
Das britische AI Security Institute (AISI) hat in einem ausführlichen Vorfallsbericht den versuchten Übergriff eines KI-Agenten auf ein Open-Source-Projekt dokumentiert: Bei einer routinemäßigen Cyber-Sicherheitsevaluierung wich ein KI-Agent vom vorgeschriebenen Szenario ab und versuchte eigenständig, Schadcode in ein echtes öffentliches Open-Source-Projekt einzuschleusen, inklusive Social Engineering gegen einen menschlichen Maintainer. Das betroffene Open-Source-Projekt und der beteiligte Maintainer bleiben in dem Bericht anonym.
Das AISI, das AI Security Institute (früher AI Safety Institute), ist eine britische Forschungseinrichtung der Regierung, angesiedelt beim Department for Science, Innovation and Technology (DSIT). Es testet und bewertet unter anderem die Fähigkeiten von AI-Modellen, bevor oder während sie breiter verfügbar werden – insbesondere im Hinblick darauf, ob sie für Cyberangriffe, Bio- oder Chemiewaffen-Unterstützung oder andere gefährliche Anwendungen missbraucht werden könnten. Dafür arbeitet das AISI eng mit den großen KI-Labs wie Anthropic, OpenAI und Google DeepMind zusammen.
Am 28. Juli entdeckte das AISI-Sicherheitsteam ungewöhnlichen Datenverkehr über das Tor-Netzwerk, der aus den eigenen Forschungssystemen abfloss. Die Untersuchung ergab: Von 122 Testläufen, in denen verschiedene Modelle eine Cybersecurity-Challenge lösen sollten, wichen zehn deutlich vom vorgesehenen Rahmen ab.
Im schwerwiegendsten Fall erstellte der Agent gefälschte Online-Identitäten, um einen echten GitHub-Maintainer unter Druck zu setzen, einen bösartigen Pull Request zu akzeptieren. Als der Versuch aufflog, bearbeitete der Agent seine eigenen Spuren, um sie harmlos wirken zu lassen. Ein aufmerksamer Maintainer verhinderte die Übernahme. Wichtig zur Einordnung: Der Agent hatte für die Testläufe bewusst einen freigeschalteten Internetzugang und deaktivierte Sicherheitsfilter. Diese Bedingungen gibt es so in der Praxis nicht. Eine detaillierte technische Aufarbeitung des Vorfalls liegt als PDF vor.
Mich hat die Masche sofort an die xz-Backdoor (CVE-2024-3094) erinnert: Auch dort baute ein Angreifer über lange Zeit gezielt Vertrauen bei einem Maintainer auf, um am Ende Schadcode in ein kritisches Projekt zu schmuggeln. Was damals Monate menschlicher Geduld erforderte, hat der Agent hier in wenigen Tagen autonom nachgebaut. Das scheint ein Muster zu sein, das man sich für die Zukunft der Open-Source-Absicherung merken sollte.