// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Was ich über lokale KI gelernt habe
Zur Seite, Anthropic, jetzt kommen die lokalen LLMs: c't 3003 klettert tief in den Kaninchenbau zu Qwen, OpenCode, Quantisierung und kryptischen LLM-Benchmarks.
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden.
Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden.
Mehr dazu in unserer
Datenschutzerklärung.
Strunzdumm sind viele der auf Consumer-Hardware lauffähigen lokalen LLMs – zumindest auf den ersten Blick. Gibt man Qwen 3.8 & Co jedoch Werkzeuge in die Hand, nähert sich die Nützlichkeit teuren Cloud-Modellen wie Claude Fable an.
(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)
Guckt mal hier, ich lasse hier ein KI-Modell auf 'nem Raspi 4 mit einem Gigabyte RAM laufen und hier auf dem Mac Studio Cluster mit genau 1536-mal so viel schnellen Speicher und hier einmal auf einer Grafikkarte mit 16 GByte Speicher. Ja, und ihr merkt wahrscheinlich schon, ich bastele seit einigen Wochen oder Monaten sogar einigermaßen obsessiv mit lokalen LLMs herum. Und will euch in diesem Video jetzt zeigen, was ich da so alles herausgefunden habe. Werde sehr doll versuchen, nicht zu nerdig in den Kaninchenbau reinzugehen, um euch nicht alle zu verwirren. Ich hoffe, dass ich in diesem Video eure sehr häufig gestellten Fragen beantworten kann.
Wie gut sind lokale KI-Modelle jetzt eigentlich im Vergleich zu den kommerziellen Cloud-Modellen? Wie ermittelt man das überhaupt? Welches Modell ist für meine Hardware am besten geeignet? Was brauche ich denn für Hardware, um Modelle laufen zu lassen, die mit Claude, Codex und Co. mithalten können? Gibt's sowas überhaupt? Und was ist eigentlich mit der Zensur von diesen ganzen chinesischen Modellen? Bleibt dran.
Ja, ach so, ist jetzt gerade rausgekommen? Aber ich habe jetzt drei volle Tage Qwen 3.6 durchgebencht, weil das viel besser ist, okay? Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier in unserer schnelllebigen Welt.
So, erstmal ganz kurz jetzt: Ich habe den starken Eindruck, dass das Thema KI gerade stark polarisiert. Was unter anderem daran liegt, dass vor allem in den USA zurzeit unfassbare Summen in unfassbar riesige KI-Rechenzentren gesteckt werden, was nicht nur zu Protesten in den betroffenen Nachbarschaften führt, sondern überall auf der Welt zu teurerer Hardware führt, weil eben die Hardware von diesen ganzen Rechenzentren aufgekauft wird. Und natürlich steht auch die Frage im Raum, was denn eigentlich passiert, wenn die Billionen an Investitionen jetzt gar nicht eingespielt werden über Abos und Token-Verkauf. Ja, und generell haben viele von euch sowieso Probleme damit, Daten an US-Unternehmen zu schicken, die dann womöglich auch noch offen im Netz auftauchen, siehe hier.
Also, vieles spricht auf jeden Fall dafür, KI auf eigener Hardware laufen zu lassen. Oder zumindest auf eigens gemieteter Hardware, das werde ich in diesem Video auch ausprobieren. Aber wie gut die Qualität dann am Ende ist, ja, das ist so 'n bisschen der Elefant im Raum.