// HEISE ONLINE — MOBILE & WEB
Nemotron 3.5 Lightning: Nvidias offenes 30B-MoE-Modell für KI-Agenten
Nvidias neues offenes Modell soll Agenten-Workloads schneller abwickeln. In der Open Source Bibliothek NeMo Switchyard gibt es Bausteine für Modell-Router.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Nvidia hat mit Nemotron 3.5 Lightning ein offenes Sprachmodell mit 30 Milliarden Parametern vorgestellt, das laut dem Unternehmen für dauerhaft laufende KI-Agenten in Unternehmensumgebungen optimiert worden sein soll. Gleichzeitig veröffentlicht der Chipkonzern die Open-Source-Bibliothek NeMo Switchyard, die Anfragen automatisch an das jeweils am besten geeignete KI-Modell weiterleitet.
Das neue Lightning-Modell nutzt wie viele aktuelle Modelle eine Mixture-of-Experts-Architektur (MoE). Das Hybrid-Design kombiniert Mamba-2-State-Space-Layer, MoE-Routing und selektive Attention-Layer. Laut Nvidias Blogbeitrag soll das Modell bis zu viermal höhere Ausgabegeschwindigkeit und dadurch 30 Prozent schnellere Agenten-Task-Abwicklung als vergleichbare Modelle derselben Gewichtsklasse erreichen. Beim Artificial Analysis Intelligence ist es in puncto Geschwindigkeit auf Platz drei in seiner Gewichtsklasse.
Die Open-Source-Bibliothek NeMo Switchyard enthält Bausteine für Router, die Aufgaben auf die verschiedenen KI-Modelle verteilen. Die Idee ist, dass Unternehmen sich mithilfe dieser Bibliothek ihren eigenen Router bauen können, angepasst an ihre Bedürfnisse. Er soll mit allen Modellen kombinierbar sein, auch mit Nicht-Nvidia-KIs.
Keine News verpassen! Jeden Morgen der frische Nachrichtenüberblick von heise online
Ausführliche Informationen zum Versandverfahren und zu Ihren
Widerrufsmöglichkeiten erhalten Sie in unserer
Datenschutzerklärung.
Immer informiert bleiben: Klicken Sie auf das Plus-Symbol an einem Thema, um diesem zu folgen. Wir zeigen Ihnen alle neuen Inhalte zu Ihren Themen.
Mehr erfahren.