// HEISE ONLINE — HARDWARE & GADGET
heise+ | Sprachmodelle mit Open WebUI: LLM-Server für kleine Teams selbst hosten
Es gibt genug Gründe, mit selbstgehosteten LLMs unabhängiger zu werden. Mit diesen Open-Source-Werkzeugen wird aus einer Linux-Maschine mit GPU ein KI-Server.
Die Direktive der US-Regierung vom 12. Juni, die Anthropic anweist, allen Nicht-US-Amerikanern den Zugriff auf das neue KI-Modell Fable zu verwehren, war ein Erweckungsmoment. Plötzlich trat das Szenario ein, das Befürworter europäischer digitaler Unabhängigkeit beharrlich immer wieder beschrieben haben: Die Regierung eines anderen Landes dreht uns den digitalen Hahn zu. Erstmals gibt es eine Exportbeschränkung für eine weitverbreitete digitale Dienstleistung, wenn auch nur für eine Version eines Sprachmodells. Doch es dürfte vielen zu denken geben, die sich in Beruf oder Alltag vollends auf Sprachmodelle der großen Anbieter verlassen.
Da ist es ein schwacher Trost, dass Anthropic das Modell einfach für alle deaktiviert, also auch für US-Amerikaner, weil man die Direktive nur so sicher erfüllen könne. Der Fall zeigt ganz klar: Die eigene Arbeit oder die eines Teams ausschließlich von fremder KI-Infrastruktur abhängig zu machen, ist gefährlich. Wer dieses Ereignis zum Anlass nehmen will oder schon länger darüber nachdenkt, einen eigenen KI-Server für große Sprachmodelle einzurichten, muss sich einerseits mit dem Betrieb solcher Sprachmodelle vertraut machen. Andererseits sind ganz profane Admin-Aufgaben zu erledigen: Einrichtung, Updates, Security, Monitoring.
Dieser Artikel richtet sich an alle mit etwas Administrationserfahrung und zeigt, wie man – Hardware mit fetter GPU vorausgesetzt – einen LLM-Server für ein kleines Team betreibt, der auf Wunsch aus dem Internet erreichbar ist. Doch vorab eine Warnung: Die meisten, die einmal neugierig in den Kaninchenbau der lokalen KI-Modelle gefallen sind, sind nicht wieder herausgekommen. Die Beschäftigung mit lokaler KI kann süchtig machen.
Wer eine Mischung aus Smartphone und E-Reader sucht, landet schnell bei Geräten wie dem Bigme Hibreak Pro. Der Spagat der Gattungen gelingt jedoch nur bedingt.
Der VW ID.7 gehört zu den gefragtesten E-Autos in Deutschland. Reicht das Basismodell oder ist der Schritt zur größeren Batterie sinnvoll?
Ein Magnetventil und ein ESP8266 reichen als Basis, um einen Wasserhahn smart zu steuern. Mit ioBroker und Tasmota läuft die Steuerung sogar im Heimnetz.
Vor der Produktwahl steht die Grundsatzentscheidung: Integrierte Suite oder modularer Baukasten? Wir geben einen Überblick über souveräne Office-Suiten.
Pimax verspricht mit der Dream Air ein PC-VR-Leichtgewicht mit Spitzenoptik. Wir testen, ob endlich die Balance aus Komfort und Bildqualität gelingt.
Ein praxisnaher Migrationspfad auf Nextcloud zeigt, welche Werkzeuge für den Umzug greifen, welche Reihenfolge sinnvoll ist und wo die Stolpersteine liegen.