// HEISE ONLINE — HARDWARE & GADGET
GPU Taskman: Neuer Task-Manager für Grafikkarten und KI
Was belegt gerade den Grafikspeicher? Der quelloffene GPU Taskman zeigt die VRAM-Nutzung pro Prozess und liefert Details zu laufenden LLMs.
Mit GPU Taskman hat Microsoft-Vizepräsident und Softwareentwickler Scott Hanselman einen quelloffenen Task-Manager für Grafikkarten veröffentlicht. Das auf GitHub entwickelte Programm läuft unter Windows, Linux einschließlich WSL und macOS auf Apple Silicon. Seine Terminaloberfläche verbindet eine Prozessliste mit Gerätedaten zu Speicherbelegung, Auslastung, Temperatur, Leistungsaufnahme und Taktraten. Zu einzelnen Prozessen liefert es außerdem Hinweise auf erkannte Runtimes und Modelle. Welche Messwerte verfügbar sind, hängt von Betriebssystem, GPU, Treiber und Zugriffsrechten ab.
GPU Taskman liest dafür nicht beliebige Inhalte des Grafikspeichers aus, sondern kombiniert mehrere Informationsquellen. Unter Windows stammen die prozessbezogenen Speicher- und Aktivitätswerte aus den Performance-Countern des Betriebssystems, Nvidias NVML und AMDs ADL ergänzen Gerätedaten. Geladene Bibliotheken geben Hinweise auf die Runtime. Per Memory-Mapping eingebundene Dateien und Kommandozeilenargumente helfen bei der Modellerkennung. Unterstützte lokale Server-APIs liefern zusätzliche Angaben.
Bei Modellen im GGUF-Format kann das Programm unter anderem Modellname, Parameterzahl und Quantisierung anzeigen sowie den Speicherbedarf von Gewichten und KV-Cache abschätzen. Der KV-Cache hält bereits berechnete Key- und Value-Vektoren der Attention-Schichten vor. Ein größeres Kontextfenster kann deshalb mehr Speicher erfordern, obwohl die Modellgewichte unverändert bleiben. GPU Taskman stellt solche Schätzungen dem gemessenen Speicherverbrauch des Prozesses gegenüber.
Dabei kennzeichnet das Tool die Herkunft seiner Angaben: Messungen, Schlussfolgerungen, Schätzungen und Angaben einer Laufzeitumgebung sind nicht gleichzusetzen. Eine Modelldatei auf der Festplatte beweist beispielsweise noch nicht, dass ein Prozess sie gerade verwendet. Nicht verfügbare Zähler erscheinen als unbekannt, nicht als null Speicherverbrauch. In Summen gehen nur gemessene Speicherwerte ein.
Laut den Release Notes ergänzte Version 0.3.5 die Unterstützung für Intel-GPUs unter Linux mit den Treibern i915 und xe. Hinzu kamen eine Übersicht für CPU- und RAM-Auslastung sowie entsprechende Spalten je Prozess. Der Befehl gputaskman record zeichnet in regelmäßigen Abständen JSON-Snapshots auf. Damit lässt sich zum Beispiel verfolgen, wie sich die Speicherbelegung während eines Testlaufs verändert.
Version 0.4.0 ergänzt unter Linux weitere Intel-Messwerte: die Auslastung der GPU und ihrer Video-Engine sowie die Leistungsaufnahme integrierter Intel-GPUs. Für diese zusätzlichen Messwerte benötigt das Programm unter Linux Root-Rechte. Ohne sie zeigt es die betreffenden Werte als nicht verfügbar an und nennt den Grund. Außerdem bringt das jüngste Update ein Linux-Backend für Huaweis Ascend-NPUs vom Typ 310P. Über npu-smi erfasst es jetzt Geräte- und Prozessspeicher sowie Aktivitätsdaten der KI-Beschleuniger.
GPU Taskman ist in Python geschrieben und steht unter der MIT-Lizenz. Für die Installation als Python-Paket setzt es Python 3.11 oder neuer voraus. Mit uv tool install gputaskman oder pipx install gputaskman lässt es sich in einer isolierten Umgebung installieren. Anschließend startet es mit gputaskman oder gtm.
Für Windows bietet das Projekt außerdem portable ZIP-Pakete für x64 und ARM64, die keine separate Python-Installation benötigen. Beim Entpacken muss das vollständige Paket einschließlich des Verzeichnisses _internal erhalten bleiben. Die Entwickler bezeichnen das Programm ausdrücklich als frühe, experimentelle Software – insbesondere die Modellzuordnungen und berechneten Speicheraufteilungen sind keine direkten Messungen.
Alle Themen der kommenden iX im Überblick. Erscheint monatlich.