// HEISE ONLINE — HARDWARE & GADGET
heise+ | Lokale KI schneller machen: So zünden Sie den LLM-Turbo
Ein technischer Kniff bei lokalen LLMs kann die Generierungsrate massiv erhöhen: die Multi Token Prediction. Wir haben getestet, wie sie LLMs beschleunigt.
Wie wäre es, wenn KI-Modelle einfach doppelt so schnell auf Ihrer Hardware liefen – ohne zusätzliche Anschaffungskosten, ohne Nachteile. Multi Token Prediction (MTP) verspricht diesen Performance-Gewinn. Wie stark er ausfällt, hängt von mehreren Faktoren ab, unter anderem vom verwendeten Modell. In unseren Versuchen haben vier LLMs zwischen 25 und 250 Prozent mehr Token pro Sekunde generiert als ohne MTP.
Leider ist die Funktion nicht für jedes lokale KI-Modell verfügbar. Doch mit Gemma 4, Qwen3.5 und Qwen3.6 finden sich einige beliebte LLMs, die geeignet sind. Es gibt sie in ausreichend kleinen Varianten, die auf gut ausgestatteten Gaming-PCs mit 16-GByte-Grafikkarten zügig laufen. Das zeigen wir in diesem Artikel. Auch das neue Qwen3.8 beherrscht MTP.
Der Artikel erläutert die Verwendung der MTP-Modelle mit der KI-Engine Llama.cpp. Wir vergleichen Messungen für zwei verschiedene Prompts mit und ohne MTP-Nutzung und optimieren zusätzlich einen Parameter. Als Testsystem dient ein Gaming-PC mit Radeon RX 9060 XT (16 GByte) und 32 GByte DDR5-RAM.
Bose schaltet die Cloud für seine SoundTouch-Lautsprecher ab. Damit verlieren die einst teuren Geräte zentrale Funktionen wie die beliebten Preset-Tasten.
Wer Geld beim Online-Glücksspiel verliert, kann seine Einsätze zurückfordern. Aber nicht immer hat das vor Gericht Erfolg.
Wer die Sprache von SAP spricht, kann mit einem hohen Gehalt rechnen. Wir zeigen, wie sich Berater- und Entwicklerjobs unterscheiden und was sie verdienen.
Jakarta-EE-Anwendungen auf klassischen Applikationsservern sind oft schwerfällig. Eine Migration nach Quarkus bietet einen Weg zur Modernisierung.
Claude hat ein gutes Sprachgefühl, kann Anwendungen steuern und stellt viele Helferlein für Routinearbeiten bereit. Eine Einstiegshilfe für den Chatbot.
USB-C-Hubs geben Apple-Geräten mehr Ports. Wir testen neun Geräte mit HDMI und Power Delivery, die sich besonders gut fürs MacBook Neo eignen – aber nicht nur.