// HEISE ONLINE — MONDO
Model-Schau: Offene Modelle aus den USA, große aus China und kleine aus Europa
Die chinesischen Modelle werden größer und die amerikanischen Modelle offener. Außerdem gibt es Neuigkeiten aus der Schweiz und endlich aus Deutschland.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Vom Sommerloch keine Spur, im Gegenteil: Die Meldungen zu neuen Sprachmodellen überstürzten sich in den vergangenen Wochen regelrecht. Während man aus China vor allem Superlative bezüglich der Modellgrößen hört, sind die offenen amerikanischen Modelle aktuell eher etwas kleiner – immerhin gibt es endlich welche. Eine andere Art von Superlativen aus den USA sind Modelle, die sich nicht an Vorgaben halten und andere Websites hacken.
Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.
In Europa tut sich zumindest ein wenig: Apertus aus der Schweiz gibt es in einer verbesserten Version und endlich mit Soofi auch ein deutsches Modell, das aber noch Startschwierigkeiten hat.
Als der chinesische Anbieter Moonshot das neue Kimi K3-Modell ankündigte, gingen Schockwellen fast wie bei DeepSeek R1 durch die LLM-Community. Ein derart großes Modell mit 2,8 Billionen Parametern war vorher mit offenen Gewichten noch nicht verfügbar. Zudem erwies sich Kimi K3 in vielen Tests als äußerst stark und ist in den einschlägigen Benchmarks wie arena.ai oder artificialanalysis.ai stets auf den Top-Plätzen zu finden.
Am 15. Oktober 2026 widmet sich die Online-Konferenz „LLMs im Unternehmen“ den lokalen Modellen: Für welche Anwendungen sie sich lohnen, welche Hardware erforderlich ist und wie man die Performance optimiert.
Neben der schieren Größe hat Moonshot einige Optimierungen zu bieten, die das Modell in der Inferenz deutlich gegenüber Kimi K2.6 deutlich beschleunigen. Dazu gehört ein optimierter Attention-Mechanismus, den Moonshot Kimi Delta Attention (KDA) nennt. Dabei wechseln sich lineare und globale Attention Layer im Verhältnis 3:1 ab. Das spart viel Rechenzeit und Speicherbedarf, was besonders bei langen Kontexten ins Gewicht fällt. Spannend ist auch die Mixture-of-Experts-Architektur (MoE), denn Kimi nutzt sage und schreibe 896 Experten. So viele waren bisher in offenen Modellen nicht verfügbar.
Dankenswerterweise hat Moonshot die Gewichte auch ins kompakte MXFP4-Format überführt und damit den Speicherbedarf im Vergleich zu dem sonst oft üblichen bfloat16 auf ein Viertel reduziert. Dennoch sind auch bei kleinen Kontexten mindestens 1,5 TByte RAM erforderlich, was das Budget vieler Firmen sprengt. Eine lokale Ausführung wird damit nur für die wenigsten in Frage kommen, ist aber möglich. Moonshot bietet Kimi K3 auch als Clouddienst an, dessen Kosten im Vergleich zu anderen Modellen überschaubar sind.
Auch beim Training nutzte Moonshot einige kreative Ideen, um die vielen Experten gleichmäßig zu trainieren. Laut Anbieter hat das Modell zudem seine eigenen Kernels optimiert, sodass es nun die eigene Inferenz schneller ausführen kann.