// COMPUTERBASE — INTELLIGENZA ARTIFICIALE
Nutzt ihr „Local AI“?: Wir wollen mehr über eure Erfahrungen mit lokaler KI erfahren
Schiebt man den KI-Hype einmal beiseite und betrachtet die Technologie als Software, kämpfen viele derzeit vor allem mit einer Frage: Wie setzt man die KI-Assistenten sinnvoll ein? Gerade bei lokalen KI-Apps ist einiges möglich, aber schwierig. Wir wollen daher wissen: Wofür nutzt ihr lokale KI bereits und auf welchen Systemen?
Wer die fähigsten KI-Modelle lokal mit höchster Geschwindigkeit ausführen will, muss tief in die Tasche greifen: Systeme vom Typ DGX Spark, RTX Spark (ab Oktober) oder AMD Ryzen AI Max 300/400 sowie Grafikkarten vom Typ GeForce RTX 5090 oder RTX Pro Blackwell kosten schnell (immer?) Tausende von Euro. Doch sie werden nicht nur von Firmen, Entwicklern oder über Umwege Abnehmern in China gekauft. Auch private Anwender setzen die Plattformen ein um von der Cloud unabhängige AI-Projekte zu verfolgen. Aber keine Frage: Das sind wenige.
Die meisten Nutzer, auch viele von euch, setzen auf weniger kostspielige Hardware. Das ließ sich zuletzt aus immer mehr Beiträgen im Forum heraushören. Und auch dann ist einiges möglich. Nicht so schnell und nicht mit so großen Modellen.
Doch auch Modelle mit nur wenigen Milliarden Parametern können dem eigenen Zweck dienlich sein. Die laufen auch auf GPUs mit 8 GB Speicher oder Systemen mit nur 16 GB Unified Memory. Und als Mittelweg war zuletzt der – lange vergleichsweise sehr günstige – Mac mini M4 beliebt. Im Vergleich zu DGX Spark ist auch das ein Leichtgewicht.
Aber was genau ist der eigene Zweck? Wofür nutzt ihr KI schon lokal auf eurem System? Und wie sieht das System aus?
Wir möchten mehr darüber erfahren, welche Erfahrungen ihr bereits gesammelt habt. Immer wieder lesen wir von euren Projekten, mal im Test eines NAS mit NPU, mal im Thread zu einer News. Von der eigenen KI-Kameraüberwachung über KI-Bildgenerierung bis zum KI-Agenten ist viel dabei. Aber ein richtiges Bild hat sich auf diesem Weg noch nicht ergeben.
Zu verstehen, was ihr schon nutzt, wenn ihr KI lokal einsetzt, ist schon für sich genommen spannend. Eure Berichte könnten aber auch andere Nutzer inspirieren, lokale KI auf einem bestehenden System einmal auszuprobieren, weil es abseits von AI-Slop-Videos aus der Cloud auch spannende lokale Anwendungsfälle gibt. Auch wir könnten unseren Fokus schärfen. Und das Feedback könnte Firmen einen Spiegel vorhalten, wenn sie mit ihren „Das machen Nutzer mit AI doch quasi alle schon zuhause“-Phantasien hausieren gehen.
Sollten unter euren Rückmeldungen besonders spannende, umfangreiche oder besonders ausgefallene Lokale-KI-Projekte sein, würden wie sie im Nachgang gerne auch noch einmal separat auf ComputerBase vorstellen.
Dieser Artikel war interessant, hilfreich oder beides? Die Redaktion freut sich über jede Unterstützung durch ComputerBase Pro und deaktivierte Werbeblocker. Mehr zum Thema Anzeigen auf ComputerBase.