// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
heise+ | Drei Unified-Memory-Workstations für lokale KI im Test
Bezahlbare Workstations für lokale KI: Die Unified-Memory-Workstations HP Z2 Mini G1a, Asus Ascent GX10 und Apple Mac Studio M4 Max im Check.
Zur digitalen Souveränität gehört auch der Betrieb lokaler KI-Modelle auf eigener Hardware. Viele meinen, sie hätten nur die Wahl zwischen den kleinen Ablegern der großen Sprachmodelle (Large Language Models, LLMs) oder einer Investition von über 100.000 Euro in Rechenzentrumshardware wie H200. Dabei stoßen Modelle wie Ministral 3 mit 14 Milliarden Parametern, die noch in gängige Consumer-Grafikkarten mit 16 oder 24 GByte VRAM passen, schnell an die Grenzen ihrer Leistungsfähigkeit.
Deutlich leistungsfähiger werden die Modelle erst ab einer Größe von 100 Milliarden Parametern, die aber selbst mit Quantisierung, also dem Verwenden von Parametern mit geringerer Genauigkeit wie INT4 statt FP16, eine GPU mit mindestens 80 GByte VRAM erfordern.
René Peinl ist Professor für ressourceneffiziente KI für Textverständnis an der Hochschule Hof und leitet die Forschungsgruppe Multimodale KI.
Thomas Weber ist Forschungsreferent am Institut für Informationssysteme (iisys) und betreut IT- und Forschungsprojekte.
Für KI-Entwickler und die Inferenz in KMU ist daher eine neue Gerätekategorie interessant, die viel VRAM mit bezahlbaren Preisen vereint: Unified-Memory-Workstations. Der Artikel vergleicht drei dieser Geräte.
Claude hat ein gutes Sprachgefühl, kann Anwendungen steuern und stellt viele Helferlein für Routinearbeiten bereit. Eine Einstiegshilfe für den Chatbot.
Wer die Sprache von SAP spricht, kann mit einem hohen Gehalt rechnen. Wir zeigen, wie sich Berater- und Entwicklerjobs unterscheiden und was sie verdienen.
Wer Geld beim Online-Glücksspiel verliert, kann seine Einsätze zurückfordern. Aber nicht immer hat das vor Gericht Erfolg.
Claude merkt sich Vorlieben und Regeln über einzelne Chats hinaus. Wie Sie den Chatbot einrichten, damit er nicht bei jedem Chat von vorn anfängt.