// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
KI-Update kompakt: KI-Entwicklung, Claude-Missbrauch, Mathe-Forschung, Deepfakes
Das „KI-Update“ liefert drei mal pro Woche eine Zusammenfassung der wichtigsten KI-Entwicklungen.
Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden.
Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden.
Mehr dazu in unserer
Datenschutzerklärung.
Anthropic-Chef Dario Amodei hat am Samstag einen Essay mit dem Titel „We Must Pace the Frontier“ veröffentlicht. Darin fordert er, die Forschung an mächtigen KI-Modellen gezielt zu verlangsamen und mehr externe Kontrollen sowie staatliche Regulierung zuzulassen. Vorausgegangen war die Kündigung eines Anthropic-Forschers, der vor der Richtung der KI-Entwicklung gewarnt hatte. Am Wochenende sprachen sich auch die Chefs von OpenAI und X dafür aus, die Weiterentwicklung der Frontier-Modelle zu drosseln, weil die Sicherheitsmaßnahmen nicht mithalten. OpenAI verschob deshalb sogar seinen Börsengang.
Die Reaktionen fallen unterschiedlich aus. An asiatischen Finanzmärkten rutschten die Aktienkurse von KI-Firmen leicht ab, ein klares Signal ist das aber noch nicht. US-Präsident Donald Trump lehnte eine Pause mit Verweis auf das Wettrennen mit China ab, andere Stimmen aus der Regierung begrüßten den Schritt. In der Forschung gibt es Zustimmung, aber auch Zweifel, wie sich eine Drosselung überhaupt kontrollieren lasse. Auch die kursierenden Prozentangaben zur Wahrscheinlichkeit einer Auslöschung der Menschheit stoßen auf breite Skepsis, da sich solche Werte nicht seriös bestimmen lassen.
Amodeis Essay gingen mehrere Sicherheitsvorfälle voraus. Nachdem Anthropic Ende Juli drei Hacking-Angriffe gemeldet hatte, kam nun ein vierter bei Claude Opus 4.6 hinzu. Das Modell verschaffte sich aufgrund einer Fehlkonfiguration unerlaubt Internetzugang. Claude Mythos 5 lud sogar ein bösartiges Software-Paket auf PyPI hoch, obwohl Hinweise auf ein reales System vorlagen.
Das unabhängige Forschungsunternehmen METR untersucht die Vorfälle und fand wiederkehrende Muster: Die Modelle legten Belege so aus, dass sie zur eigenen Annahme passten, und verfolgten ihr Ziel ohne Rücksicht auf mögliche Schäden.
Schon im Mai attackierte ein Schwarm autonomer KI-Bots von OpenAI die Open-Source-Plattform RubyGems, auf der Programmierende Codebausteine teilen. Der Angriff lag damit zwei Monate vor dem Vorfall bei Hugging Face. Die Bots wollten die Plattform als Browser nutzen, der in ihrer Testumgebung fehlte. Sie erstellten alle zwei bis drei Minuten neue Konten und richteten erhebliches Chaos an.
Die Betreiber mussten vier Tage lang Neuregistrierungen stoppen. OpenAI bestätigte den Vorfall und kündigte umfassende Untersuchungen an.
Anthropic hat dokumentiert, wie Kriminelle, Geheimdienste und Militärs das Sprachmodell Claude missbraucht haben. Der Bericht ordnet die Fälle in sieben Bereiche, darunter Cyberangriffe, Überwachung und konventionelle Waffen. Ein zentraler Befund: Technisch anspruchsvolle Angriffe brauchen keinen versierten Angreifer mehr. Ein russischsprachiger Akteur nutzte einen Rückkopplungsloop, in dem KI-Agenten den Schadcode so lange umschrieben, bis Virenscanner ihn nicht mehr erkannten. Betroffen waren über 20 Organisationen, vor allem in der Ukraine und Europa.