// LINUX-MAGAZIN — LINUX & OPEN SOURCE
Anthropic untersucht Risiken der Interaktion zwischen KI-Agenten
(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Der zunehmende Einsatz von KI-Agenten könne dazu führen, dass das Volumen der Interaktion zwischen den Agenten das zwischen Menschen und zwischen Menschen und Agenten übersteigt, bevor man verstanden habe, unter welchen Bedingungen diese Interaktionen reibungslos funktionierten – schreibt Anthropic in einem Blogpost.
Heutige Überwachungsinstitutionen seien auf menschliches Tempo ausgelegt, wogegen die Agenten einerseits viel schneller und länger arbeiten und größere Informationsmengen erfassen könnten, andererseits aber auch anfällig für das freie Erfinden von Sachverhalten (Konfabulation) und Angriffe zur Zielerreichung (Reward Hacking) seien. Zudem könnten harmlose Verhaltensauffälligkeiten auf individueller Ebene zu unerwünschten globalen Folgen führen. Generell wüssten wir noch sehr wenig darüber, wie sich die Agenten in realen komplexen Situationen verhalten.
Multi-Agent-Systeme befinden sich, so Anthropic, noch in einer kindlichen Phase. Die Agenten könnten einander gut als Werkzeug benutzen, wenn die Ein- und Ausgaben fest umrissen seien, kämen aber in Straucheln, wenn es um die Zusammenarbeit gleichberechtigter Partner ohne klare Hierarchie gehe, bei der jeder seine eigenen Ziele verfolge und sie sich selber koordinieren müssten.
Schwärme von Agenten arbeiten vor allem dann effektiv, wenn sie Probleme bearbeiten, die sich gut parallelisieren lassen. Das betrifft beispielsweise die Schwachstellensuche in Software. Hier konnten sich – nach Experimenten von Anthropic – die Schwarmmitglieder auch koordinieren und sogar auf einzelne Techniken spezialisieren, Werkzeuge bauen und damit viel erfolgreicher sein, als einzelne Agenten.
Allerdings war dabei der Erfolg eines Agenten nicht unmittelbar abhängig vom Erfolg seines Nebenmanns, eine solche Abhängigkeit käme aber beispielsweise bei der Arbeit an großen und komplexen Softwareprojekten ins Spiel. Um ein solches Szenario zu testen, sollte ein Schwarm von Agenten ein Fantasy-Spiel für den Browser entwickeln. Die Agenten hatten ein gemeinsames Forum und jeder seine eigene virtuelle Maschine. Die Spiele waren durchweg schlecht, die Agenten brauchten sehr viel menschliche Anleitung. Nichtsdestotrotz konnte getestet werden, wie sich verschiedene LLM-Generationen verhielten. Die frühesten Modelle im Test (Sonnet 4.6 und Opus 4.6), arbeiteten sehr schlecht zusammen. Die Agenten dieser Modelle kooperierten zwar insofern, als sie Code in dieselben Dateien einpflegten, doch wurde nur ein sehr geringer Anteil dieser Pull Requests zusammengeführt. Außerdem standen die Pull Requests oft im Konflikt miteinander und wurden daraufhin verworfen. Neuere Modelle (insbesondere Opus 4.8 und Mythos Preview) haben dieses Problem zwar “gelöst”, jedoch nur dadurch, dass sie kaum noch zusammenarbeiteten. Erst unser neuestes Modell, Sonnet 5, arbeitete wirklich an gemeinsam genutzten Ressourcen und wies gleichzeitig einen hohen Pull Request-Durchsatz auf.
Die Fehler, die die Agenten machten, unterschieden sich dabei von Fehlern, die Menschen machen würden. So waren ihre Aktionen durchweg sehr ähnlich: Wenn ein Agent eine schlechte Entscheidung trifft, dann ist es sehr wahrscheinlich, das alle zu dieser schlechten Entscheidung kommen, selbst wenn der Spielraum groß ist. Das macht ein System anfälliger für einen schnellen Zusammenbruch. Wenn sich alle Akteure auf ähnliche Weise verhalten, kann dies überdies dazu führen, dass die natürliche Wettbewerbsdynamik verschwindet, und sich die Akteure absprechen.
Im Unterschied zu Menschen haben Agenten auch keine gesunde Skepsis gegenüber neuen Informationen. Sie wurden ja hauptsächlich darauf ausgelegt, Anweisungen zu befolgen. Sie verfügen über keine Intuition, die ihnen sagen könnte, wie vertrauenswürdig eine Quelle ist. Das spielt eine Rolle, weil die Existenz böswilliger Akteure in Multi-Agenten-Umgebungen keine bloße Spekulation mehr ist. Menschen finden eine Balance zwischen Wachsamke