// LINUX-MAGAZIN — LINUX & OPEN SOURCE
KI-Modell verbessert Mathe-Leistung ohne Training auf das 6-fache
(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Forscher des Massachusetts Institute of Technology (MIT) Computer Science & Artificial Intelligence Laboratory (CSAIL) berichten, dass sie die Leistung des kleineren Modells Qwen3.5-0.8B im Math-500-Benchmark von 7,9 auf 48,1 Prozent steigern konnten, ohne das Modell auf herkömmliche Weise feinzutunen oder nachzutrainieren.
Stattdessen bedienten sie sich einer als Weight-Space-Programming bezeichneten Methode, bei der mithilfe eines größeren Modells (in diesem Fall GPT-6 Astra von OpenAI) ein sehr kleiner Teil der Gewichte des kleineren Modells direkt editiert wird. Im vorliegenden Fall reichten 0,016 Prozent der Gewichte, um zu bewirken, dass sich wiederholende Schlussfolgerungen vermieden werden können.
Normalerweise ändern sich diese Gewichte, indem im Verlauf extensiver Trainingsläufe das Ergebnis einer Zielvorgabe in kleinen Schritten mi Hilfe des Gradientenabstiegsverfahrens angenähert wird. Die neue Erkenntnis ist, dass große Sprachmodelle diese Werte nun auch direkt anpassen können. Das könnte ganz neue und möglicherweise auch schnellere und kostengünstigere Wege zur Qualitätsverbesserung von KI-Modellen und für deren Verständnis eröffnen.
So war GPT-6 Astra in der Lage, rein auf Basis der Analyse der rohen Gewichte zu erkennen, für welches Spiel (Breakout, Pong, Pac-Man oder Freeway) jedes von vier ansonsten identischen neuronalen Netzen trainiert worden war. In einem zweiten Versuch konnte Astra wieder allein auf Grundlage der Gewichte vorhersagen, welche geometrische Form (Kreis, Dreieck oder Quadrat) ein Diffusion-Modell erzeugen wird. Dabei hatte Astra in beiden Fällen nur den ersten oder letzten Layer betrachtet. Ein dritter Versuch konzentriert sich stattdessen auf die dazwischenliegenden Schichten, aus denen Astra ermitteln konnte, ob das jeweilige Netz für Python-Code, Japanisch mit lateinischen Schriftzeichen oder Englisch trainiert wurde. Genauso war Astra fähig, den kompletten Satz an Gewichten für ein einfaches Spiel zu entwickeln, wenn es nur die Spielebeschreibung zur Verfügung gestellt bekam, aber das Netz nicht trainieren oder austesten konnte.
Die beiden Forscher der Stanford University, Owen Queen und James Zou, haben in einer Studie untersucht, wie lange weitverbreitete Behauptungen über LLMs ihre Gültigkeit behalten.
Statt seine Auktionen auf Ebay mit dem Webbrowser zu überwachen, baut Mike Schilli mittels der offiziellen Ebay-Developer-API ein Dashboard fürs Terminal.
Bei einer internationalen Polizeiaktion haben Ermittler am 3. November 2026 mehr als 100 Server beschlagnahmt und sieben Verdächtige festgenommen. Die Behörden aus Albanien, Zypern, Finnland, Deutschland, Israel, Kosovo und Nordmazedonien gingen mit Unterstützung von Europol und Eurojust gegen...
Das Fedora-Projekt hat Fedora Linux 45 veröffentlicht. Zu den wichtigsten Neuerungen zählt die Integration der Speicherverwaltung Stratis in das Installationsprogramm Anaconda. Außerdem aktualisiert die Linux-Distribution ihre Desktop-Umgebungen und Entwicklungswerkzeuge.
Das OpenSUSE-Projekt hat OpenSUSE Leap 16.1 veröffentlicht. Die neue Version der Linux-Distribution integriert erstmals einen unveränderlichen Betriebsmodus, der bislang in der Server-Distribution Leap Micro zum Einsatz kam. Damit deckt Leap neben Desktop-Systemen und herkömmlichen Servern auch...