// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Artificial Analysis v5: KI-Modelle im neuen Benchmark-Test
Artificial Analysis hat seinen KI-Benchmark-Index aktualisiert. Version 5 enthält neue Tests und arbeitet erstmals mit 60 Prozent nicht öffentlichen Aufgaben.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Artificial Analysis, ein unabhängiger Anbieter für Benchmark-Tests von KI-Modellen, hat seinen Hauptindex aktualisiert. Der Artificial Analysis Intelligence Index v5, in dem die Ergebnisse von neun Benchmark-Tests miteinander verrechnet werden, enthält jetzt zwei neue Tests und arbeitet zum ersten Mal mit 60 Prozent nicht öffentlichen Aufgaben.
Ob die Aufgaben und Ergebnisse von einem Benchmark öffentlich bekannt sind, trägt viel dazu bei, wie die Modelle im Test performen. Denn die Entwickler von KI-Modellen trainieren ihre Systeme häufig gezielt so, dass sie bei den Benchmarks gut abschneiden, um ihr Modell besonders leistungsfähig aussehen zu lassen. Mehr Tests, deren Aufgaben geheim sind, sollen das verhindern. Ein Nachteil ist allerdings, dass die nicht öffentlichen Benchmarks nicht von Externen geprüft werden. Mögliche Fehler können daher nicht gefunden werden.
Neue Benchmarks im Artificial Analysis Index v5 sind laut Artificial Analysis der Terminal-Bench-Science, ein Test mit 70 agentischen wissenschaftlichen Aufgaben, und der FrontierCode 2.0. Der kürzlich von Cognition eingeführte nicht öffentliche Benchmark prüft möglichst reale Programmieraufgaben, bei denen bewertet wird, ob ein Repository-Betreuer die Änderung des Agenten übernehmen würde.
Geupgradet wurden die Benchmarks Humanity’s Last Exam Diamond, AA-Omniscience v1.1 und CritPt v2. Entfernt wurden GDPval-AA v2.1, SciCode und AA-LCR v1.1. Die gleichmäßige Gewichtung der Testergebnisse innerhalb des Indexes über die vier Bereiche Wissen, Programmieren, Wissenschaft und Allgemein bleibt gleich.
Durch die Änderungen an den Tests schneiden die Modelle jetzt auch etwas anders ab. Claude Opus 5.5 führte die Rangliste nach der Änderung an, Googles Gemini 4 Carbon überholte es jedoch bei seinem Release kurz danach. Grok 4.7 verlor Punkte und auch Kimi K3.1 Pro sackte ebenfalls ab. Damit hat das beste offene Modell nun zwölf Punkte Differenz bis zur Spitze, nicht mehr drei. Wie der KI-Markt im Wandel zeigt, wechseln Unternehmen ihre Modelle inzwischen so häufig wie nie zuvor. Und offene Modelle legen in der Nutzung immer weiter zu.
Keine News verpassen! Jeden Morgen der frische Nachrichtenüberblick von heise online
Ausführliche Informationen zum Versandverfahren und zu Ihren
Widerrufsmöglichkeiten erhalten Sie in unserer
Datenschutzerklärung.
Immer informiert bleiben: Klicken Sie auf das Plus-Symbol an einem Thema, um diesem zu folgen. Wir zeigen Ihnen alle neuen Inhalte zu Ihren Themen.
Mehr erfahren.