// COMPUTERBASE — HARDWARE & GADGET
Arm Mali G2 NX: GPUs rendern nur noch ein Achtel der Grafik, der Rest ist KI
Arm stattet die GPUs der Mali-G2-NX-Generation erstmals mit dedizierten Neural-Beschleunigern aus, die Aufgaben wie Upscaling, Frame Generation und Denoising übernehmen. Damit lassen sich höhere Frameraten, ein niedrigerer Verbrauch oder eine höhere Bildqualität erreichen. Die GPUs gehören zum neuen Arm CSS for Mobile 2.
Von Desktop-Grafikkarten bekannte Technologien wie Raytracing und jetzt auch Upscaling, Frame Generation und Denoising machen nicht halt vor Grafikeinheiten, die für mobile SoCs in Smartphones bestimmt sind. Vor mittlerweile vier Jahren zog in die Mali-GPUs von Arm (damals noch Immortalis) erstmals eine dedizierte Ray Tracing Unit (RTU) für Hardware-basiertes Raytracing ein. Nach einer Verdoppelung der Raytracing-Leistung im letzten Jahr sind jetzt erstmals Neural-Beschleuniger an der Reihe.
Als Bestandteil des Arm CSS for Mobile 2 sind die neuen GPUs von Arm in erster Linie für Spiele zuständig, sie sind zugleich aber ein Beschleuniger außerhalb der CPU und damit neben weiteren externen Beschleunigern wie einer NPU positioniert.
Spiele stehen jedoch im Zentrum der Mali-G2-NX-Generation, die aus den Ausbaustufen Mali G2-Ultra NX, Mali G2-Premium NX und Mali G2-Pro NX besteht, die darüber hinaus in unterschiedlich großen Abstufungen angeboten werden, um den SoC-Herstellern eine möglichst breite Auswahl zur Verfügung stellen zu können. Wann welcher Name berechtigt ist, wird später im Artikel erläutert.
Das „NX“ in der GPU-Bezeichnung steht für die neuen dedizierten Neural-Beschleuniger, die erstmals in mobilen Grafikeinheiten von Arm angeboten werden. Zur Fachmesse SIGGRAPH hatte Arm letztes Jahr aber bereits ein entsprechendes Vorhaben bekannt gegeben, ohne Details zur Hardware zu nennen. Ziel der frühen Ankündigung war es, Spiele- und Engine-Entwicklern Vorlaufzeit für den Aufbau eines darauf angepassten Software-Ökosystems zu geben. Gemeinsam mit dem britischen Entwicklerstudio Sumo Digital ließ Arm im Juni dieses Jahres zudem eine Vorschau auf das Spiel Neural Dawn folgen, das Gebrauch von Arms „Neural Technology“ und den MegaLights der Unreal Engine 5.6.1 macht.
Die Neural-Beschleuniger sind in Spielen für drei Aufgaben zuständig: Neural Super Sampling (NSS), Neural Frame Rate Upscaling (NFRU) und Neural Super Sampling and Denoising (NSSD). Arm will damit den in Mobilgeräten omnipräsenten Konflikt aus Power-Budget, Bildqualität und Leistung angehen, um durch eine Verringerung der tatsächlich klassisch gerenderten Pixel und Frames eine Desktop-ähnliche Grafik auf Geräte wie Smartphones zu bringen, die mit einem Power-Budget von nur 1 bis 2 Watt auf der GPU auskommen müssen, während parallel dazu immer neue Methoden zur Steigerung der Qualität eingeführt werden, etwa höher aufgelöste Texturen, Raytracing und Pathtracing.
Arm strebt deshalb an, dass mit der „Neural Technology“ lediglich noch bis zu ein Achtel der ursprünglichen Szene nativ gerendert werden muss, während die restlichen sieben Achtel durch AI-Rekonstruktion auf dem Bildschirm des Spielers erzeugt werden.
Neural Super Sampling (NSS) ist dabei die Bezeichnung für das von Arm entwickelte Upscaling-Verfahren, das in seiner ersten Ausführung ein 2×2-Upsampling unterstützt, also zum Beispiel von 540p auf 1080p. NSS ist ein temporales, neuronales Verfahren zur Rekonstruktion und Hochskalierung von Bildern. Statt ein Spiel direkt in der Zielauflösung zu rendern, wird zunächst ein Bild mit geringerer Auflösung erzeugt. Dieses dient zusammen mit Bewegungsvektoren, Tiefeninformationen und der Bildhistorie aus vorherigen Frames als Eingabe für ein neuronales Netzwerk.
NSS kombiniert die Informationen aus diesen unterschiedlichen Datenquellen, um fehlende Bilddetails zu rekonstruieren und dabei auch Informationen aus vergangenen Frames zu berücksichtigen. Dadurch soll die zeitliche Stabilität verbessert und störendes Flimmern reduziert werden. Gleichzeitig übernimmt das neuronale Netzwerk das Anti-Aliasing direkt im Rekonstruktionsprozess, sodass ei