dlss3.5要来了

勇敢爱万有引力

NVIDIA正式发布了新一代AI神经网络技术——DLSS 3.5。

DLSS诞生于2020年3月，随同首次支持实时光追的RTX 20系列诞生，此后2021年11月升级到DLSS 2.3，2022年10月升级到DLSS 3，2023年1月升级到DLSS 3.1，如今又实现了一次飞跃。

相比之下，AMD FSR 3在去年10月随同RX 7900系列官宣之后，就没了下文，原定的2023年上半年发布的承诺已经爽约。


DLSS 3.5引入了一个全新的重磅功能“光线重建”(Ray Reconstruction/RR)，通过NVIDIA超级计算机训练的AI网络，取代人工设计的降噪器，使采样光线之间生成更高质量的像素，从而提高所有RTX显卡的光追画质。

NVIDIA还宣称，DLSS 3.5光纤重建的数据训练量，是DLSS 3的多达5倍，而且融合了更多的传统游戏与游戏引擎数据，可以识别不同的光追效果，区分时间与空间元素之间的优劣，保留高频率使用的数据并进行缩放。




DLSS 3.5将在今年秋天正式登场，首批游戏包括：

《心灵杀手2》(Alan Wake 2)：

10月27日发布，支持DLSS 3.5、全景光追、Reflex。

《赛博朋克2077》和《赛博朋克2077：往日之影》(Phantom Liberty)：

9月发布，支持DLSS 3.5、全景光追、Reflex。

《传送门》RTX版：

今年秋季升级支持DLSS 3.5。

游戏之外，DLSS 3.还能提高实时3D创作应用的图像质量。

D5渲染器、Chaos Vantage、NVIDIA Omniverse都即将支持光纤重建

勇敢爱万有引力

在刚刚开幕的德国科隆游戏展2023（Gamescom 2023）上公布了众多游戏宣传片，还有实机画面。不过我们今天说说NVIDIA同步更新的DLSS 3.5这项技术。


1 RTX 20系可开启DLSS 3.5 ？

由于大部分的宣传中都提到，DLSS 3.5不仅支持RTX 40系显卡，所有RTX显卡都可以开启。

所以玩家自动认为RTX 20系也可以开启它的上一个版本“DLSS 3.0”了，并不是。

本次DLSS 3.5并不是DLSS 3.0的直接版本迭代升级，而是在DLSS 3.0的基础上增加了RR（Ray Reconstruction）功能。


简单来说，RTX 4060可以享受到目前技术中的【SR+FG+RR】；RTX 2060可以享受到【SR+RR】，但因为加入了RR的DLSS统称为3.5版本，所以才有以上的误会。

2 光线追踪是如何工作的

误会解除，下面来看看DLSS 3.5的RR到底是什么。


首先在游戏场景中，不管是汽车、房子、树木之类的物体，都是具有实体的几何图形和材质，DLSS可以通过超分辨率根据模型来重建物体。但目前的游戏中，光影效果正在扮演越来越重要的角色。而游戏场景中的所有物体，在光线照射到自身时，都可以根据材质有不同反应，比如镜子有直接的反射，粗糙的表面会有漫反射等等。

但光本身不具备实体，如果对屏幕上的每个像素发射光线对计算的要求过高，所以通常的做法是使用光线采样。将光线以噪点的图像输出，来确定光追场景的具体展现方式。


最终反映到画面中，降噪器有两种不同的处理方法还原光追画面。

1.多帧累计：当前帧和上一帧之中，保留好的像素，丢掉坏的像素，最终合成计算出光线效果

2.空间插值：查找当前帧中的相邻像素并混合，最终形成一张通过插值采样得来的效果

而不同类型的光追效果其实要用到多种降噪器处理，才能算出相对满意的画面，不但增加了开发成本和复杂程度，而且多个降噪器同时工作，也极大降低了光追游戏中的帧数。


另外降噪器采用的多帧累计虽然增加了细节，但实际上是借取过去的光线，仍存在引入鬼影、消除动态效果并降低其他效果的风险。


图像放大是光线追踪照明管线的最后一个阶段，也是以高帧率体验、细节丰富的关键。但随着降噪消除或降低效果质量，图像放大器所使用的精细细节（称为高频信息）被去除，这就造成了我们在游戏时会看到很多鬼影、模糊、细节丢失的问题。

3 DLSS 3.5的“RR”是什么

DLSS 3.5引入的Ray Reconstruction（光线重建）则是专为“光线”开发的一套AI模型，它将需要人工设计的降噪器，替换为NVIDIA超算训练的AI网络（在采样光线之间生成更高质量的像素），利用所有可用信息来解决上述问题，并为所有RTX GPU提升光线追踪图像质量。


DLSS 3.5 训练的数据量是DLSS 3的5倍，可识别不同的光线追踪效果，从而使用时间和空间数据，做出更明智的决策，并保留高频信息以实现更高质量的升级。



光线重建使用离线渲染图像进行训练，这需要比实时游戏所需的更多的计算能力。相比传统的降噪器，光线重建可以从训练数据中识别光照模式，例如全局光照或环境光遮蔽的光照模式，并在玩游戏时在游戏中重新创建这些模式。其最终效果比需要人工设计的降噪器更出色。

在《传送门》RTX版中，关闭DLSS的情况下，降噪器难以处理空间插值，无法混合足够的像素，从而产生斑点效果。


此外，降噪器无法从之前的帧中累积足够的优质像素，导致光线上出现沸腾效果。开启DLSS 3.5后，它可以识别与反射相关的特定模式，并保持图像稳定，同时混合相邻像素以生成高质量的反射。

在《赛博朋克2077》的以下场景中，汽车周围不准确的车头灯照明是由于人工设计的降噪器引入了前一帧中不准确的光照效果造成的。DLSS 3.5 准确地生成光照，因此可以识别出车灯的光束，并看到光线在车前路边反射。


《赛博朋克 2077》中的夜之城街道充满了旋转广告牌和霓虹灯的反射。通过开启 DLSS 3.5，整个城市的画面质量和清晰度得到了大幅提升：


可以看到在开启DLSS 3.5后，不仅帧数再一次小幅提高，并且能正确模拟出光线的传导，并进一步影响周围材质的颜色变化。

4 总结

最后总结一下，其实DLSS 3.5增加了一个专门针对光线追踪而开发的——光线重建AI模型，它并不依靠RTX 40系显卡中的硬件单元，所以在所有RTX显卡中均可开启。

而DLSS 3.0的帧生成，则是依赖第四代Tensor Cores中最新引入的光流加速器（New Optical Flow Accelerator），光流加速器在原本DLSS 2的基础上，还可以计算两个连续帧内的光流场，能够捕捉游戏画面从第1帧到第2帧的方向和速度，从中捕捉粒子、反射和光照等像素信息。并分别计算运动矢量和光流来获得精准的阴影重建效果。

所以，这也是为何DLSS 3中的帧生成为RTX 40系显卡独享。


虽然RTX 20/30系显卡同样能够开启DLSS 3.5中的RR，但它的作用更多是“锦上添花”的效果，帧数提升有限。况且，即便RTX 4060相比RTX 3060的提升只有20%左右，但别忘了RTX 40系显卡尤其加强的Tensor算力和L2缓存，在处理光追和DLSS时，都有着得天独厚的优势。

我们常说NVIDIA近几年发力点一直在AI计算上，游戏卡似乎有些忽略。

但在RTX 40系显卡中加强的AI性能，其实大部分用户感知不大，而DLSS则相当于一个针对AI，长期优化的专属软件。我认为无论是对于游戏玩家还是内容创作者，都是值得投资的。

48684682

玩不起就是玩不起，优化差就是优化差，TM又买4090又开dlss。又当婊又当慈禧又立牌坊。
研发dlss就是承认显卡传统性能垃圾。
垃圾最简单老黄让利牙膏挤爆。
现在搞个大力水手挤牙膏耍太极，搞迷糊不清

maliwei777

48684682 发表于 2023-8-25 17:44
玩不起就是玩不起，优化差就是优化差，TM又买4090又开dlss。又当婊又当慈禧又立牌坊。
研发dlss就是承认显 ...

当婊子再立牌坊也是需要门槛的。

hred7

路径光追离不开老黄的鬼名堂DLSS3(包括DLSS帧生成+DLSS超分辨率+NVIDIA Reflex低延迟)，

其中DLSS超分辨率+NVIDIA Reflex低延迟上一代显卡也可以，感觉老黄4090就一个插帧，在投机取巧。

这次DLL3.5附加搞出一个RR，又是花招，

下一次在5090中恐怕是新的光流流处理器只支持DLSS4.0

不然这个钱不好赚

leixia

这个3.5指的是DLSS的版本号，和DLSS 3的那个3两回事，不清楚老黄为何把这些代号搞得那么容易混淆，现在普通DLSS版本是3.1.30，今年3月开始DLSS和DLSS 3帧生成统一版本号了，如今DLSS 3的版本也叫3.1.30但和普通DLSS是分开的两个插件，而老黄的意思是未来普通DLSS的3.5版本更新会加入Ray Reconstruction

鱼游逍然

当你无可替代的时候，就是该你豪横的时候。。。

youxia233dm

a卡用户只能等fsr3.0了

438084800

等4090降价到1000来一块，玩玩

杰00杰

3.5  所有N卡都能开？？？ 不可能吧

勇敢爱万有引力

438084800 发表于 2023-8-25 22:54
等4090降价到1000来一块，玩玩

永远不可能的

438084800

勇敢爱万有引力 发表于 2023-8-26 10:57
永远不可能的

我19年买的2080TI 1W2现在变成1700了，一切都有可能。