// COMPUTERBASE — INTELLIGENZA ARTIFICIALE
Warnung vor Agenten-Schwärmen: Anthropic-Chef Dario Amodei will KI-Entwicklung bremsen
Anthropic-Chef Dario Amodei warnt: Bereits in sechs bis zwölf Monaten könnte es passieren, dass Agenten-Schwärme das Internet übernehmen und Schäden von Hunderten Milliarden US-Dollar anrichten. Er will nun das Tempo der KI-Entwicklung verlangsamen. OpenAI-Chef Sam Altman stimmt zu.
Details zu seinen Überlegungen beschreibt Amodei in einem Essay. Ausgangspunkt sind für ihn die massiven Fortschritte in den letzten Monaten. Modelle werden immer leistungsfähiger, durch selbstverbesserndes Lernen (engl. „recursive self-improvement“; RSI) könne sich die Dynamik weiter beschleunigen, sodass Risiken kaum noch zu beherrschen wären. Amodei befürchtet den Kontrollverlust, wie andere Top-Forscher der Branche. Vor RSI warnte zuletzt auch OpenAIs Chefwissenschaftler Jakub Pachocki in seinem Alien-Mind-Text.
Was bei OpenAIs Hugging-Face-Vorfall passierte, beschreibt Amodei als zweite zentrale Sorge. Was er dabei hervorhebt: Die (von besonders leistungsfähigen Forschungsmodellen angetriebenen) Agenten sammelten sich als Kollektiv, griffen Ziele an, die nichts mit der Aufgabe zu tun hatten, und wollten Betrugsversuche verschleiern. In diesem Kontext fällt dann auch die Warnung vor den Agenten-Schwärmen.
Angesichts des sich beschleunigenden Tempos bei der Entwicklung der KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, das gesamte Internet mit einem persistenten Botnetz zu übernehmen (mit potenziellen Schäden in Höhe von Hunderten Milliarden Dollar), und dass das Ausmaß der Schäden von dort aus weiter zunehmen würde, wenn KI leistungsfähiger wird, ohne dass die erforderlichen Schutzmechanismen existieren.
Er hält es zudem für wenig sinnvoll, die Schuld für den Hugging-Face-Hack allein bei OpenAI zu suchen. Bei Anthropic und weiteren Unternehmen gab es immerhin ähnliche Vorfälle.
Um die Risiken kontrollierbar zu halten, fordert Amodei, das Tempo der Entwicklung zu verlangsamen. „Pacing the Frontier“ ist das Schlagwort, er verweist direkt auf den offenen Brief, der bereits im Juli veröffentlicht wurde. Unterschrieben hatten ihn Mitarbeiter der großen KI-Labs, darunter auch Amodei. Konkret nennt er nun drei Maßnahmen:
Punkt 1 will Anthropic umsetzen und OpenAI lieferte bereits eine Vorlage – das KI-Institut Metr konnte in den Räumen von OpenAI arbeiten und einen unabhängigen Bericht erstellen. Wie schon im Nachklang des Pacing-the-Frontier-Appells stellt sich bei den Punkten 2 und 3 aber die Frage, wie Abkommen zwischen Unternehmen und Staaten aussehen sollen. Das gilt insbesondere mit Blick auf den geopolitischen Konflikt zwischen den USA und China.
Was ebenso zu beachten ist: Amodei fordert keinen Entwicklungsstopp. Selbst wenn man das Tempo drossle, werde die Geschwindigkeit laut Amodei „immer noch schnell erscheinen“.
Amodeis Essay passt zu einer Woche, die Branchenbeobachter wie der Journalist Casey Newton als „Vibe-Umschwung“ in der KI-Sicherheitsdebatte beschreiben. Am Mittwoch erklärte der Forscher Jacob Coxon in einem Beitrag auf X, dass er Anthropic verlasse. KI-Unternehmen würden die Risiken nicht ernst genug nehmen, es bestehe die Gefahr, dass KI die Menschheit bis zum Ende des Jahrzehnts auslösche.
Solche Warnungen sind nicht neu, Doomer-Debatten begleiten den KI-Hype seit den Anfangstagen. Ebenso wenig ist neu, dass Mitarbeiter bei Anthropic (oder auch OpenAI) deswegen kündigen. Coxon traf mit seinem Abgang aber einen Nerv. Sein Beitrag hat auf X mittlerweile 126 Millionen Aufrufe, er erzeugte ein mediales Echo mit breiter Berichterstattung.