// HEISE ONLINE — HARDWARE & GADGET
heise+ | Große LLMs auf Desktop-Hardware im Test
Die Inferenz-Engine Strata verspricht schnelle Antwortzeiten selbst auf einem durchschnittlichen Gaming-PC. Unsere Tests zeigen, ob und wie das funktioniert.
Offene Sprachmodelle erreichen in einigen Bereichen fast die Qualität kommerzieller Cloud-Modelle, und wer sie lokal betreibt, behält die Daten auf dem eigenen Rechner. Eine tolle Sache – wenn da nicht die Größe wäre: Viele Modelle passen nicht in den Arbeitsspeicher der GPU. Für das beliebte Qwen3.8-Flash-Next hilft die Software Strata, die den normalen Arbeitsspeicher einbezieht und trotzdem hohe Geschwindigkeiten beim Prompt-Parsing und bei der Tokengenerierung erreicht. Der Artikel zeigt, wie Strata das Modell über GPU, RAM und SSD verteilt – und was die Alternativen leisten.
Um Modelle ausführen zu können, die größer als der verfügbare (GPU-)RAM sind, nutzt Strata einige Tricks, die mit der Architektur des Qwen3.8-Flash-Next-Modells zusammenhängen. Das Modell verfügt über 180 Milliarden Parameter, die aber nicht nur aus Gewichten bestehen. Sie teilen sich auf in 125 Milliarden „echte“ Gewichte, weitere vier Milliarden sind für die Multi-Token Prediction reserviert. 51 Milliarden Parameter stecken in den N-Gramm-Embeddings . Letztere werden nur punktuell benötigt und können daher im CPU-RAM oder sogar auf einer schnellen SSD liegen. Damit spart Strata bereits sehr viel Platz.
Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.
Da die Gewichte weiterhin den Großteil der Parameter stellen, versucht man, ihren Speicherbedarf zu reduzieren. Dazu kann man sie in unterschiedlichen Stufen quantisieren; Strata schlägt je nach Speicherausstattung die passende Stufe vor. Mit der häufig vorgeschlagenen 3,5-Bit-Quantisierung sinkt die Datenmenge der Gewichte auf knapp 55 GByte. Eine weitere Optimierung ergibt sich durch die Mixture-of-Experts-Architektur des Qwen3.8-Flash-Next-Modells . Von den 512 Experten nutzt das Modell immer zehn ausgewählte plus einen fest zugeordneten, was zu „lediglich“ sechs Milliarden aktiven Parametern pro Vorhersage führt. Fairerweise müsste man die Parameter der Multi-Token Prediction hinzurechnen, doch die sind nahezu vernachlässigbar.
Die klassische Testpyramide stößt bei KI-Anwendungen an ihre Grenzen. Wie kombiniert man statistische Verfahren mit Laufzeitschutz und menschlicher Aufsicht?
Mehrere Kameras, ein kompaktes Gerät: Obsbots Talent 2 mischt, streamt und zeichnet auf. Im Test zeigt sich, wie es als Regiecomputer fungiert.
Das Reparieren defekter Geräte ist gefährlich. Mit diesem sensiblen Schutzgerät lässt sich die Gefahr verringern.
Abgehangene Echo-Lautsprecher mit KI pimpen? Heutzutage ist das kein Problem. Wie es möglichst einfach gelingt und was es wirklich bringt.
Die Universalfernbedienung Sofabaton X2 steuert Geräte per Infrarot, Bluetooth, WLAN und Funk und verbindet sich mit Smart-Home-Geräten.