// HEISE ONLINE — SALUTE
Lokale KI ausprobiert: Das leistet Qwen3.8-27B
Alibaba hat die Gewichte seines Modells Qwen3.8-27B veröffentlicht, klein genug für bezahlbare Grafikkarten. Der Abstand zu Spitzenmodellen schrumpft.
Anfang August präsentierte Qwen, die KI-Abteilung des chinesischen Cloudanbieters Alibaba, Version 3.8 seines KI-Modells. Unter dem Namen Qwen3.8-Max gab es eine Variante mit 2,4 Billionen Parametern, von denen 95 Milliarden aktiv sind. Testen konnte man das Modell zunächst nur in der QwenCloud. Doch das Unternehmen versprach direkt: Open Weights folgen „next week“. Mit ein paar Tagen Verspätung löste Alibaba sein Versprechen ein, lieferte zuerst die Vollversion Qwen3.8-2.4T-A95B bei Huggingface ab und pünktlich zum Wochenende Qwen3.8-27B (mit 27 Milliarden Parametern, das B steht für die englische „Billion“). Letzteres erwartete die KI-Selfhosting-Community mit Spannung, weil bereits der Vorgänger Qwen3.6 einen Ruf als beste selbst betreibbare Alternative zu den Spitzenmodellen von OpenAI und Anthropic hatte – insbesondere für agentische Arbeit und Programmierung. Wegen der großen Erwartungen schaltete die Modellplattform Huggingface sogar eine Seite mit einem Countdown.
Das Qwen-Team lieferte nicht nur die Gewichte, sondern auch Benchmarkergebnisse, die bekanntlich nie die ganze Wahrheit abbilden, aber eine Tendenz enthalten: Beim Programmieren und Arbeiten mit Agenten, so die von Qwen selbst veröffentlichten Ergebnisse, sei Qwen3.8-27B besser als seine Vorgänger. Und auch besser als das kürzlich von Meta veröffentlichte Muse Glimmer 30B und gleichauf oder besser als das kommerzielle Opus 4.6 von Anthropic, das im Februar 2026 erschien. Wie gut sich Qwen3.8 für eine konkrete Aufgabenstellung und eine Arbeitsweise eignet und als wie hilfreich es wahrgenommen wird, verraten jedoch keine Benchmarks, sondern nur eigene Experimente.
Das Qwen-Team hat die Ergebnisse ausgewählter Benchmarks im Vergleich zu anderen Open-Weights-Modellen und zu Opus 4.6 veröffentlicht.
Dass solche Experimente mit handelsüblicher (wenn auch aktuell nicht günstiger) Hardware mit 16 oder 24 GByte VRAM gleich am ersten Wochenende möglich sind, verdanken KI-Selfhoster den Anbietern von quantisierten Modellen, die zügig nach Veröffentlichung geliefert haben – allen voran Unsloth AI. Beim Quantisieren werden die Gewichte in weniger genauen Datenformaten gespeichert, sodass der Speicherbedarf sinkt. Performant läuft ein Modell nur dann, wenn es komplett in den Video-RAM der verfügbaren Grafikkarte passt.
Während man für das Originalmodell mit 32-Bit-Fließkommazahlen (FP32) mindestens 108 GByte VRAM plus Platz für den Key-Value-Cache einplanen muss (realistisch insgesamt 120 GByte), reichen für FP16 Karten mit 64 GByte. Die quantisierte Variante Q5_K_M passt in 22 GByte und damit in High-End-Grafikkarten für Spiele wie die AMD Radeon 7900 XTX und Nvidas RTX 3090 (Ti), 4090 und 5090. Von Unsloth gibt es außerdem die Variante NVFP4, die für die Rechenwerke von Nvidia-Karten der Blackwell-Reihe optimiert ist und bereits mit 16 GByte läuft. Anfang der Woche hat Unsloth zudem eine neue Software veröffentlicht, die Einsteigern den Betrieb von lokaler KI erleichtern soll: Mit Unsloth Desktop erhält man eine grafische Oberfläche.
Für einen ersten Test haben wir Qwen3.8 in den Varianten Q8_0 und NVFP4 mit der Inferenzumgebung Llama.cpp auf Nvidia-Hardware (RTX Pro 6000 Blackwell) gestartet und ihm eine Aufgabe gestellt, in der es laut Benchmark brillieren soll: Das Modell musste ein komplettes REST-API für ein Warenwirtschaftssystem mit Benutzerverwaltung und rollenbasierter Berechtigung entwickeln und dabei keine Rückfrage stellen. Die erste Beobachtung: Die Quantisierung NVFP4, die knapp halb so viel VRAM belegte wie Q8_0, war nicht spürbar ungenauer oder schlechter. In keiner Variante neigte der Programmiergehilfe zu Schlamperei. Qwens Programmierleistung erwies sich vielmehr als bemerkenswert penibel, der Code kompilierte beim ersten Versuch und die bestellten Funktionen waren vorhanden.
12 Minuten lang arbei