// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Lokale KI: Das läuft auf deinem Rechner
Lokale KI wird immer besser, die dafür benötigte Hardware immer teurer. c’t 3003 gibt Kaufberatung und Praxistipps.
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden.
Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden.
Mehr dazu in unserer
Datenschutzerklärung.
Was braucht man für Hardware, damit lokale KI Spaß macht? Wie viel schlechter ist lokale KI im Vergleich zu aktuellen Frontier-Modellen wie Claude Opus 5.5? Und: Was ist eigentlich dieses Strata? Diese drei Fragen und noch ein paar mehr beantwortet unser Video.
(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)
Guckt mal hier, ich mache dolle lokale KI-Sachen auf einem ziemlich normalen Gaming-PC. Da steckt eine AMD RX 9070 XT für 920 Euro drin und damit kann ich wirklich sinnvolle Dinge tun. Zum Beispiel diese 3D-Giraffe programmieren lassen. In diesem Video habe ich sehr viel Hardware und Software getestet, unter anderem auch eine Intel Arc Pro B70, aktuelle Mac Minis und Mac Studios, AMDs Strix Halo und ich zeige euch, mit welcher Hardware lokale KI besonders gut funktioniert und mit welcher nicht und was ihr sonst noch so beachten müsst. Und Giraffen natürlich. Bleibt dran.
Liebe Hackerinnen, liebe Internet-Surfer, herzlich willkommen hier bei....
Ja, also das Interesse an lokaler KI ist schon lange groß, aber in den letzten Wochen hatte ich das Gefühl, dass das gerade wirklich explodiert. Ein Indikator ist dafür leider der unfassbare Preisanstieg von KI-fähiger Hardware. Hier, meine vier Jahre alte RTX 4090 mit einer unverbindlichen Preisempfehlung damals von 1769 Euro, die wird gebraucht jetzt bei Kleinanzeigen für 4000 Euro gehandelt und neu hier sogar für 5000 Euro. Vier Jahre alte Hardware, bei der ja normalerweise der Preis sinken würde. Ja, und das liegt sicherlich auch daran, dass man wirklich brauchbare KI-Modelle inzwischen auf Consumer-Hardware laufen lassen kann. Mit brauchbar meine ich besser als die kompetentesten Cloud-Modelle von Anthropic und OpenAI von vor ungefähr 8 Monaten. Könnt ihr hier schwarz auf weiß sehen.
Ja, Qwen 3.8-27B, bei dem die Weights ungefähr 16 GByte groß sind und auf einem Gaming-PC läuft, das Ding knallt in etlichen Benchmarks Claude Opus 4.6 weg, das im Februar 2026 das weltweit führende Cloud-Modell war und auf Hardware-Clustern lief, die siebenstellige Summen kosten, sehr wahrscheinlich noch eine ganze Ecke mehr. Und das ist ja schon krass, oder? Also, klar, die aktuellen Cloud-Modelle von OpenAI, Anthropic und Google, die sind im Moment wieder führend, aber die lokalen Modelle, die haben eine Verzögerung von ungefähr einem halben Jahr. Ihr kriegt damit also die ältere Frontier-Qualität. Also, erwartet nicht genau Opus 5.5 oder so, aber geht schon ganz gut in die Richtung. Ja, und man geht davon aus, dass auch jeden Moment Qwen 4 rauskommt. Das gab's zu dem Zeitpunkt, zu dem ich hier aufnehme, noch nicht, aber das wird dann noch mal eine bessere Qualität haben. Da bin ich echt gespannt, wie viel Monate Rückschritt das noch hat.
So, und ganz wichtig: Wenn ihr LLMs bisher nur als Chatbot auf einer Website ausprobiert habt, also so ChatGPT-mäßig, die aktuellen lokalen LLMs können viel, viel mehr, nämlich direkt auf eurem Rechner coden, also Dateien generieren, die prüfen und auch komplexe Software steuern wie Blender. Und ich weiß auch, dass es unfassbar viele lokale LLMs gibt. Also wenn man so in LM Studio einmal reinguckt, dann weiß man überhaupt nicht mehr, wo hinten und vorne ist und ist total verwirrt und das verstehe ich auch. Und deshalb vereinfachen wir das jetzt mal. Ich sag mal, die zur Zeit relevantesten lokalen Modelle für Rechner unter 8000 Euro sind Qwen 3.8-27B und Qwen 3.8 Flash Next. Zumindest wenn ihr coden oder eur