// LINUX-MAGAZIN — LINUX & OPEN SOURCE
Neues Open-Weight-LLM braucht weder Cloud noch GPUs
(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Ein neues Open-Weight-LLM des Startups Liquid AI, 2023 gegründet von ehemalihgen MIT-Forschern, hat mit LFM2.5-2.6B ein neues LLM veröffentlicht, dass ohne GPUs auskommt, lokal auf Laptops und Edge-Geräten bis hinunter zum Raspberry PI läuft und sich besonders für die Workloads agentischer KI eignen soll.
Es eignet sich am besten für umfangreiche, klar definierte, agentenbasierte Aufgaben, die lokal ausgeführt werden, etwa Werkzeuggebrauch, Dokumentenverwaltung, Kalender- und Workflow-Automatisierung sowie ständig laufende Hintergrundprozesse. Außerdem passt es für Umgebungen mit eingeschränkter Konnektivität wie in Fahrzeugen oder in der Robotik. Programmieraufwändige Aufgaben sollten dagegen besser größeren Modellen überlassen werden. Stattdessen zielt das Modell auf Kategorien von Unternehmensanwendungen, bei denen Latenz, Datenschutz, Flexibilität bei der Bereitstellung oder Inferenzkosten wichtiger sind als eine Spitzenposition bei Benchmarks. Liquid AI gibt weiter an, dass LFM2.5-2.6B auf der Annahme basiert, dass Sprachmodelle zunehmend über Agenten-Frameworks statt über herkömmliche Konversationsschnittstellen genutzt werden.
LFM2.5-2.6B enthält 2,6 Milliarden Parameter und unterstützt ein Kontextfenster von 128 000 Token. Der etwas verwirrende Name ergibt sich aus der Modellgeneration (2.5) in Kombination mit der Parameteranzahl (2,6B). Sowohl das nachtrainierte Modell als auch ein Basis-Checkpoint (LFM2.5-2.6B-Base) für Entwickler, die es feinabstimmen möchten, sind ab sofort auf Hugging Face verfügbar. Unterstützt werden alle wichtigen Inferenz-Stacks wie llama.cpp, MLX, vLLM, SGLang und ONNX. Liquid bietet außerdem ein Open-Source-Framework zur Feinabstimmung namens LEAP an.
Bemerkenswert ist zudem, dass Liquid AI eine eigene Agenten-Laufzeitumgebung entwickelt hat, anstatt sich ausschließlich auf bestehende Frameworks zu verlassen; das Unternehmen demonstrierte das Modell, wie es darin auf einem Smartphone lief, Aufgaben plante und Tools direkt auf dem Gerät aufrief. Das Unternehmen habe dafür zwei Gründe gehabt, erklärte Maxime Labonne, Head of Post-Training bei Liquid AI in einem Interview mit Venture Beat. Der erste war, dass es noch keine für Smartphones entwickelte Laufzeitumgebung gab. Der zweite Grund liegt in einem anderen Interaktionsmodell: Herkömmliche Systeme warten auf eine Eingabeaufforderung (Prompt), während Liquid AI Assistenten anstrebt, die eigenständig agieren. “Wir wollen proaktive Agenten. Wir wollen Agenten, die im Hintergrund laufen, beobachten, was man gerade tut, den Kalender prüfen und auf Basis dieses Kontexts Aufgaben erledigen“, sagte er. „So etwas gibt es heutzutage eigentlich noch nicht.”
Mit der Blogserie „This Quarter in KDE Digital Sovereignty“ beleuchtet das KDE-Projekt die Arbeiten am gesamten KDE-Software-Stack, die durch die Investition der deutschen Sovereign Tech Agency finanziert werden.
Während der legendäre Fenstermanager IceWM mit nur kleinen Änderungen die Version 4.1 erreicht, gibt es nach vier Jahren endlich auch ein größeres Lebenszeichen vom Display-Managers LightDM. Viel erwarten sollte man dort aber ebenfalls nicht.
Die beliebte Virtualisierungsplattform Proxmox VE steht ab sofort auch für Rechner mit ARM64-Prozessoren bereit. Der Haken: Offiziell unterstützt die spezialisierte Linux-Distribution vorerst nur Hochleistungsserversysteme mit NVIDIA Grace- und Vera-Architektur.
Wie Forscher von OpenAI nun in einem Vortrag auf der Cybersicherheitskonferenz Black Hat in Las Vegas offenlegten, hatten die später ausgebrochenen KI-Agenten zuvor wochenlang in einem geheimen Forum Tipps gesammelt und ausgetauscht, wie sie interne Sicherheitskontrollen umgehen könnten.
Lediglich 1,8 Prozent der Webseitenbetreiber in Deutschland stellen eine security.txt bereit. Zu diesem Ergebnis kommt das Bundesamt für Sicherheit in der Informationstechnik (BSI) auf Grundlage von Messungen im Cyberdome-Projekt.