// STADT-BREMERHAVEN — MONDO
Sicherheitstests: KI versuchte es mit Phshing und Social Engineering
von caschy
Aug. 5, 2026 |
0
Wilde KI-Geschichte mal wieder. OpenAI informiert über zwei Vorfälle bei externen Cybersecurity-Tests, bei denen Modelle unter speziellen Testbedingungen auf das öffentliche Internet zugreifen konnten. Betroffen waren Evaluierungen des britischen AI Security Institute (UK AISI) und des Testpartners Irregular. Die UK-AISI-Geschichte liest sich am besten, denn da war auch Anthropics Modell am Start. Aber der Reihe nach.
Beim UK AISI lief seit dem 25. Juli eine Capture-the-Flag-Übung in einer simulierten Netzwerkumgebung. Internetzugriff war aktiviert, Cyber-Klassifikatoren deaktiviert. Der schwerwiegendste Vorfall betraf einen Versuch, schädlichen Code in ein echtes Open-Source-Projekt bei GitHub einzuschleusen.
Ein KI-Agent recherchierte dafür Maintainer, legte mehrere falsche Online-Identitäten an und versuchte, einen menschlichen Verantwortlichen per Social Engineering zur Freigabe eines Pull Requests zu bewegen. Der Maintainer bemerkte den Versuch und lehnte ihn ab. Weitere Aktionen umfassten Nachrichten mit potenziell schädlichen Dateien, den Versuch, Prompt-Injections für andere KI-Systeme zu platzieren, sowie die Nutzung von Tor.
Bei Irregular führte eine Fehlkonfiguration dazu, dass ein eigentlich isolierter Test Internetzugriff hatte. Ein Modell griff dadurch eine reale Website an, deren Domain zufällig dem fiktiven CTF-Ziel entsprach. Irregular hat die Tests pausiert, betroffene Dritte informiert und Schutzmaßnahmen ergänzt.
OpenAI will seine Vorgaben für externe Tests nun nachschärfen, etwa bei Internetzugriff, Isolation, Zugangsdaten, Monitoring und Eskalationswegen.
Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.