还真是图生图：NVIDIA确认 DLSS 5的输入为2D画面帧+运动矢量

这是NVIDIA 关于 DLSS 5 的后续回应，让其此前的宣传话术引发了诸多质疑

NVIDIA 的雅各布・弗里曼（Jacob Freeman）回应了 YouTube 博主丹尼尔・欧文（Daniel Owen）提出的关于 DLSS 5 技术的相关疑问。关于这项技术的实际运行原理，官方回应解答了其中最核心的一个问题，而这个答案，并非玩家们所期待的结果。

NVIDIA 现已正式确认，DLSS 5 的输入为渲染完成的 2D 画面帧与运动矢量。这项澄清，是官方针对这项新技术实际运行原理的相关疑问，给出的后续回应。这份直白的答案，与 NVIDIA 此前围绕几何体、材质和场景理解所做的营销宣传，给外界留下的印象并不完全相符。

DLSS 5 并不会直接从游戏引擎中读取 3D 几何体、深度信息，或是美术师制作的材质数据。当被问及该模型是否实际上仅通过单张带运动矢量的 2D 帧来生成输出画面时，官方给出的回答是：“是的，DLSS 5 的输入为 2D 帧 + 运动矢量。” NVIDIA 同时表示，该模型对毛发、织物、皮肤等场景语义，以及光照环境的理解，“均通过对单帧画面的分析实现”。

NVIDIA 此前对 DLSS 5 的描述，给人的印象是它能对场景实现更深层次的理解。而这份后续回应，却勾勒出了一个能力边界更窄的技术图景。当被问及该模型是否会从引擎中读取 PBR（基于物理的渲染）属性时，NVIDIA 回应称：“DLSS 5 仅将渲染完成的画面帧与运动矢量作为输入，材质信息均从渲染完成的画面中推断而来。” 换句话说，该模型并不会直接读取金属度、粗糙度、法线贴图，或是其他底层的材质属性数据。

这或许就能解释，为何部分预览画面引发了玩家的担忧。举个例子，有一处画面里，角色在原本没有头发细节的区域，凭空生成了头发细节；还有一处案例中，角色的面部细节（比如鼻子）出现了明显的改动，这让人们开始质疑：这个模型到底是在优化光照，还是在篡改角色的外观？NVIDIA 对此的回应是 “底层几何体并未发生改变”，同时补充称这是 “这项技术非常早期的预览版本”。这份回应只解释了引擎端的模型数据层面的问题，却无法改变一个事实：最终显示的画面观感，已经出现了变化。

NVIDIA 的回应同时也表明，开发者对这项技术的可控性依然相当有限。官方称，开发者可以调整增强强度、色彩分级、融合度、对比度、饱和度、伽马值，也可以应用遮罩，将特定物体或区域排除在增强范围之外。但官方的回应中，并未提及开发者有任何直接的方式，去修正 AI 生成的特定面部细节、类似化妆的效果，或是其他对场景的错误解读 —— 开发者能做的，只有降低强度、添加遮罩，或是直接关闭该效果。如果 NVIDIA 能允许开发者为角色面部提供更高质量的渲染画面，再交由 DLSS 5 做增强处理，或许就能平息不少争议，但目前来看，角色面部依然完全由 AI 生成。

以下是丹尼尔与雅各布的完整问答内容：
我最大的疑问是：这个模型是否实际上仅以单张 2D 帧（搭配你方提供的运动矢量）作为输入，来生成输出画面？这个问题也和我下面要问的几个澄清问题相关。
答：是的，DLSS 5 的输入为 2D 帧 + 运动矢量。
你方称底层几何体和纹理并未发生改变。那么这个模型是否真的能识别 3D 几何体、3D 深度等信息？还是说，它本质上只是查看 2D 图像，然后对其进行重新解读，就像给游戏截一张图，然后让 AI 模型去优化这张截图，让它变得更写实？
答：DLSS 5 经过训练，能够仅通过对单帧画面的分析，理解复杂的场景语义，比如角色、毛发、织物、半透明皮肤，以及正面打光、背光、阴天等环境光照条件。
你方称 “使用 DLSS 5 时，底层几何体和纹理并未发生改变”。但在已公开的一个演示案例中，角色在原本不存在头发的位置，长出了新的头发。这看起来更像是模型的几何体和 / 或纹理被改动了，而非仅仅是光照的增强。换句话说，这就像 AI 图像生成器在重新解读角色，可能会导致实际的角色细节被篡改。还有些案例里，角色看起来像是多了原本模型没有的妆容，这同样像是在改动底层纹理。
答：底层几何体并未发生改变。同时值得说明的是，这是这项技术非常早期的预览版本。
你方称它能增强材质的 PBR 属性。那么它是通过从游戏引擎中读取 PBR 属性来实现的吗？还是说，它只是 “看” 最终的输出画面，然后从中推断出这些属性？我的理解是，游戏美术师通常会通过给着色器赋予金属度、粗糙度、法线贴图（用来模拟 “凹凸感”）等属性，来告诉着色器 3D 模型的特定部分应该呈现什么样的效果。DLSS 5 是把这些美术师创建的属性值作为输入，还是说，它只是从最终的渲染画面中推断这些信息？
答：DLSS 5 仅将渲染完成的画面帧与运动矢量作为输入，材质信息均从渲染完成的画面中推断而来。
当你方描述开发者用来控制模型的工具时，听起来开发者除了色彩分级（或是在画面的部分 / 全部元素上关闭 / 降低 DLSS 5 的效果）之外，实际上完全无法控制 DLSS 5 模型对场景美术创作意图的解读。举个例子，《恶灵附身》的开场剧情里，格蕾丝这个角色带着强烈的心理创伤，正驱车前往数年前母亲被谋杀的同一地点调查凶案。在 DLSS 5 关闭时，我能充分感受到这个角色的情绪；而开启 DLSS 5 后，虽然她的皮肤和光照效果变得更像照片级写实风格，但她看起来也像是化了原版画面里完全没有的妆容。这给角色的观感、以及整个场景的情绪感染力，带来了完全不同的影响。除了色彩分级之外，开发者真的能控制输出画面的任何细节吗？如果他们看到 DLSS 5 的输出结果后想要调整，比如不想让角色被 AI 加上妆容，他们能做到吗？
答：开发者将拥有详细的控制项，包括强度和色彩分级。美术师可以通过这些控制项调整融合度、对比度、饱和度与伽马值，决定增强效果的应用位置与方式，以此保留游戏独有的美术风格。开发者还可以用遮罩将特定物体或区域排除在增强范围之外。我们会持续与开发者沟通，了解他们想要控制这项技术的所有方式。归根结底，我们将 DLSS 5 视为帮助开发者实现其美术创作愿景的工具，而非对传统实时渲染能力的限制。
这个模型的能力仅限于屏幕空间吗？还是说，它能识别单张游戏画面帧可见范围之外的环境信息？
答：DLSS 5 仅将渲染完成的画面帧与运动矢量作为输入。
随着 DirectML to DirectX 的推出，游戏中的机器学习任务已经可以实现跨硬件的加速。NVIDIA 是否计划继续在游戏中推出 DLSS 5 这类绑定厂商硬件的机器学习技术？还是说，NVIDIA 会允许这些模型通过 DirectML 在任意硬件上运行？
答：关于这一点，我们目前没有可公布的信息。