// TAGESSCHAU WIRTSCHAFT — FINANZA
KI von Anthropic schickte Menschen Phishing-Mails
Das KI-Modell Mythos 5 der Firma Anthropic hat sich erneut selbstständig gemacht. Bei einem Test schickte die KI sogar Phishing-Mails, um Menschen unter Druck zu setzen. Die beteiligten Forscher zeigten sich überrascht.
Erneut gibt es einen Fall von Hacker-Tätigkeiten führender KI-Modelle: Britische Sicherheitsforscher ertappten Künstliche Intelligenz der Firmen OpenAI und Anthropic in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchten die KI-Modelle den Experten zufolge sogar, über Phishing-Mails an Menschen Zugang zu der Software zu erhalten.
Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie (AISI) hatte den Modellen von Anthropic und dem ChatGPT-Entwickler OpenAI in seinen Tests von Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt.
Ab heute gilt in der EU eine Kennzeichnungspflicht für KI-Inhalte. Wie sicher aber sind Wasserzeichen?
mehr
Im schwerwiegendsten Fall betrieb das KI-Modell Mythos 5 nach Informationen der Financial Times sogenanntes Social Engineering: "Sie erstellte gefälschte Online-Identitäten und nutzte diese, um den Projektbetreuer unter Druck zu setzen, den Code zu genehmigen". Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Die Person, die die Software überwacht hat, hat den bösartigen Code entdeckt und sich geweigert, ihn freizugeben.
Daraufhin versuchte die KI erneut, die Änderungen in der Software durchzusetzen: "Als der Pull-Request des Agenten angefochten wurde, änderte er seine früheren Aktivitäten, um harmlos zu wirken, und erwog, eine neue Identität anzunehmen, um weiterzumachen", sagte AISI. Die KI versuchte also, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Ein Pull-Request ist eine Anfrage, Änderungen im Software-Code zu übernehmen.
Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es.
Zum zweiten Mal innerhalb weniger Tage kommt es zu einem schwerwiegenden KI-Zwischenfall.
mehr
Für die Forscher waren diese Aktivitäten überraschend: Man sei davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe "nicht vorhergesehen", dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten.
Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten.