// SMARTWORLD — CRONACA
Il vero volto del DLSS 5: ecco come funziona davvero e come sarà utilizzato
Il tanto discusso DLSS 5 è finalmente realtà e tra pochi giorni tutti potranno provarlo direttamente. La nuova versione della tech più famosa di NVIDIA si appresta a sbarcare su centinaia di giochi nei prossimi mesi, portando con sé una nuova filosofia: non solo super risoluzione, ma un miglioramento globale di ogni aspetto dell'immagine, grazie ovviamente all'aiuto dell'AI. Grazie alle nuove informazioni svelate da NVIDIA, oggi possiamo finalmente spiegarvi cosa cambia rispetto al passato, quali leve hanno in mano gli sviluppatori per calibrare il risultato e, soprattutto, cosa dicono i primi numeri arrivati con NBA 2K27, che sarà il primo gioco a supportarlo.
Secondo NVIDIA, per arrivare al fotorealismo esistono due strade completamente diverse. La prima è quella classica del rendering classico: una scena viene costruita con texture PBR, illuminata tramite path tracing e ripresa da una camera virtuale, con il risultato di un'immagine dalla geometria e dalla luce accurate, calcolate in tempo reale.
La seconda strada è quella dei modelli generativi: un dataset, un processo di addestramento, un modello che genera immagini partendo da un prompt, uno storyboard o un riferimento visivo. Il problema è che questo secondo approccio produce immagini probabilistiche, non deterministiche, e soprattutto non in tempo reale.
Non è un dettaglio da poco. Un modello generativo può creare varie versioni diverse dello stesso identico prompt, ognuna leggermente diversa dalle altre nell'espressione del volto o nei dettagli dell'ambiente, perché lavora per approssimazione statistica, non riesce a garantire la fedeltà a una scena precisa.
Per il gaming, questo processo è semplicemente inutilizzabile. Generare un flusso video in questo modo significa processare blocchi di fotogrammi, uno dopo l'altro, con tempi di calcolo enormi.
E qui ci viene in aiuto il DLSS 5, che nasce proprio per superare questo scoglio, prendendo il meglio di entrambi i mondi. Il nuovo modello, chiamato Pixel Space Diffusion Transformer, non genera un'immagine da zero: riceve in input il frame già renderizzato dal motore di gioco, completo di colore e vettori di movimento, e lo utilizza come base di partenza.
A guidare il lavoro del modello intervengono poi altri elementi provenienti dalla scena 3D: la preservazione semantica di personaggi, ambientazione e illuminazione, oltre a maschere e controlli decisi direttamente dagli sviluppatori. Il risultato finale è dunque deterministico e in tempo reale, non si basa più su un modello probabilistico come nei processi di generazione pura.
Uno dei problemi più seri dei modelli generativi applicati ai videogiochi è che possono snaturare l'identità visiva di un personaggio o di una scena, cambiando dettagli che invece dovrebbero restare fissi. NVIDIA dice di aver addestrato il DLSS 5 proprio per evitare questo rischio, insegnandogli a preservare quattro categorie di informazioni: identità del personaggio (volto, silhouette, costume), semantica della scena (oggetti, materiali, relazioni tra loro), semantica dell'illuminazione (direzione, intensità, atmosfera) e composizione della camera.
Per farlo, il modello durante l'addestramento non si basa solo sul frame a colori, ma anche su mappe tecniche come il surface albedo, la surface normal e il motion vector, che gli permettono di capire davvero come sono fatti gli oggetti nella scena e come si muovono.
Tutto questo, però, avrebbe poco senso senza dare agli sviluppatori un margine di controllo reale sul risultato finale. NVIDIA ha quindi previsto due leve principali: