// LINUX-MAGAZIN — LINUX & OPEN SOURCE
Neuer Benchmark testet KI-Agenten als Geschäftsführer
(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Der neue CEO-Bench, entwickelt von Forschern der Princeton University, testet erstmals, wie sich KI-Agenten als CEO eines fiktiven Unternehmens bewähren. Der Test gilt als bestanden, wenn nach 500 Tagen mehr als der Startbetrag von einer Million Dollar in der Kasse ist. Das schafften nur 3 von 13 Modellen und auch die meist nicht in jedem Durchlauf.
Der neue Benchmark will anstelle einzelner Fähigkeiten bewerten, wie die Modelle in einer unsicheren Umgebung über längere Zeiträume hinweg navigieren können, wie sie sich in einer verrauschten Umgebung Informationen beschaffen, sich einer veränderten Lage anpassen und mehrere Teilaspekte einem gemeinsamen Ziel unterordnen können. Zu diesem Zweck sollten sie ein simuliertes Start-up über 500 Tage hinweg leiten. Maßstab war das Vermögen zum Ablauf der Frist. Der KI-Agent agierte über eine programmierbare Schnittstelle mit Zugriff auf Geschäftsdatenbanken, Unternehmensverwaltungstools und soziale Medien. Die Ergebnisse wurden von einem Markt bestimmt, der nur teilweise beobachtbar und verrauscht war, sich stetig wandelte sowie zeitverzögerte und gekoppelte Auswirkungen aufwies. Konkret konnte der Agent 34 Instrumente einsetzen, die die Bereiche Preisgestaltung, Wachstum, Produkt, Betriebsabläufe, Informationsbeschaffung, Öffentlichkeitsarbeit und Unternehmensvertrieb abdeckten. Jedes Tool akzeptierte fein strukturierte Argumente, sodass die Agenten einen großen Raum möglicher Strategien zusammenstellen konnten.
Die Liquidität unterlag Schwankungen aufgrund von Abonnement- und Werbeeinnahmen, Kapazitäts- und Rechenkosten, Support, Entwicklung, Akquisitionen, Marktforschung und Forschungsprojekten. Die Kunden hatten verborgene Preis-Qualitäts-Präferenzen, und die Agenten mussten Zufriedenheit und Nachfrage aus indirekten Hinweisen ableiten. Insgesamt verfügte die Simulation über 26 Kundengruppen mit jeweils eigenen Preis-Qualitäts-Vorstellungen. Die Kundenzufriedenheit wirkte sich auf die Reputation des Unternehmens aus und diese bestimmte wiederum die Neukundengewinnungsrate.
Im Ergebnis landeten die meisten Modelle im Minus. Nur Claude Fable 5, Claude Opus 4.8 und GPT-5.5 hatten in ihren besten Läufen am Ende mehr Geld in der Kasse als das Startkapital. Qwen 3.7 Max, Claude Opus 4.7, Kimi K2.6, GLM 5.2 und Claude Sonnet 4.6 schlossen zwar mit einem positiven Betrag ab, der aber geringer war als das Anfangskapital. Claude Haiku 4.5, GLM 5.1, Gemini 3 Flash, DeepSeek V4 Pro und Grok 4.0 endeten in der Insolvenz. Nur ein Modell, Claude Fable 5, landete in drei Durchläufen im Plus, allerdings musste dabei zuweilen Opus 4.8 einspringen, weil Fable den Dienst aufgrund seiner Sicherheitseinstellungen verweigerte. Am schlechtesten schnitt Grok 4.0 ab, das regelmäßig schon nach wenigen Wochen pleite war. Die Ergebnisse fasst diese Webseite zusammen.
OpenWrt ist eine freie Linux-basierte Firmware für Router und andere Netzwerkgeräte. Sie ersetzt die vorinstallierte Software vieler Hersteller und bietet erweiterte Funktionen sowie umfangreiche Konfigurationsmöglichkeiten. Vor allem erfahrene Nutzer und Unternehmen setzen auf das...
Das CalyxOS-Projekt hat die Version 7.2.2.0 seines Google-freien Android-basierten Betriebssystems veröffentlicht. Nach Angaben der Entwickler endet damit die fast ein Jahr dauernde Entwicklungspause des Custom-ROMs. Die neue Version erhält künftig den regulären Wartungssupport und alle...
Aktuell schreibt die Dokumentation vor, dass KI-Coding-Agenten, die zum Linux Kernel beitragen, eine Attribution benötigen. Nun diskutieren Kernel-Entwickler den Sinn solcher Attribution.
Google und Amazon haben Nachhaltigkeitsberichte vorgelegt. Die Zahlen belegen, dass es beiden zunehmend schwerfällt, ihre Null-Emission-Ziele zu erreichen.
Microsoft hat auf seiner Hausmesse Microsoft Build die Public Preview von Azure Linux 4.0 angekündigt.