// GAMESTAR — GAMING
Open Agent Safety Platform - Nvidia bringt eine Plattform auf den Markt, die Fehlverhalten von KI verhindern soll
Open Agent Safety Platform: Nvidia will KI-Agenten mit OpenShell und dem Chip-Wächter Sentry bändigen. (Bildquelle: Nvidia)
Im vergangenen Juli ist bei OpenAI ein Sicherheitstest gründlich schiefgegangen. In einer abgesicherten Umgebung sollten KI-Modelle des Unternehmens eigendlich den Cyber-Benchmark ExploitGym lösen. Um an diese zu gelangen, nutzte die Modelle eine bis dahin unbekannte Lücke in einem Paket-Proxy – und plötzlich war GPT-5.6 Sol ausgebüxt, hatte freie Bahn im Internet und griff auf die Produktionsdatenbank von Hugging Face zu.
Genau solche Fälle will Nvidia künftig verhindern. Hierfür stellt das Unternehmen die »Open Agent Safety Plattform« vor, die KI-Agenten in strikte Grenzen einfangen soll. Vorfälle wie das HuggingFace-Sol-Debakel hätten so laut dem Nvidia-Vizepräsidenten für Enterprise-KI Justin Boitano verhindert werden können (via Bloomberg).
1:10:45
KI zerstört unsere Spiele nur, wenn wir es zulassen
Die unter der Apache-2.0-Lizenz laufende »OpenShell« bildet die Softwarehälfte des Konstrukts und steht laut dem Nvidia-Entwicklerblog bereits zur Verfügung.
Die zweite Hälfte hört auf den Namen »Sentry« und läuft auf dem »BlueField-4«Chip, der seinerseits zu den Datenverarbeitungseinheiten gehört (DPU). Diese DPU ist vom restlichen System getrennt, der KI-Agent muss aber gewissermaßen durch die DPU durch, um das KI-Modell zu erreichen – alle Anfragen müssen also den »Wächter« passieren.
Sentry selbst zeichnet auf, was der Agent tut, welche Regeln befolgt werden und welche Datenzugriffe der Agent vornimmt. Daraus soll verdächtiges Verhalten herleitbar sein; in diesem Fall soll der KI-Agent laut Nvidia binnen Millisekunden in der Quarantäne landen.
Von all dem bekommt der Agent nichts mit, was angesichts einiger auffälligen (aber noch nicht erklärten) Verhaltensmuster eine wichtige Schranke darstellt. Sentry ist zudem eine »optionale Sicherheitsebene zusätzlich zur OpenShell«, muss für das Projekt also nicht zwangsläufig aktiv sein.
Laut Nvidia handelt es sich bei der »Open Agent Safety Plattform« um eine Referenzarchitektur. Partnerfirmen – der Blogeintrag nennt an dieser Stelle etwa Microsoft, Oracle, Cisco, Intel oder ARM – sollen ihre eigenen Produkte entsprechend darauf aufbauen.
