還真是圖生圖：NVIDIA確認 DLSS 5的輸入爲2D畫面幀+運動矢量

這是NVIDIA 關於 DLSS 5 的後續回應，讓其此前的宣傳話術引發了諸多質疑

NVIDIA 的雅各布・弗里曼（Jacob Freeman）回應了 YouTube 博主丹尼爾・歐文（Daniel Owen）提出的關於 DLSS 5 技術的相關疑問。關於這項技術的實際運行原理，官方回應解答了其中最核心的一個問題，而這個答案，並非玩家們所期待的結果。

NVIDIA 現已正式確認，DLSS 5 的輸入爲渲染完成的 2D 畫面幀與運動矢量。這項澄清，是官方針對這項新技術實際運行原理的相關疑問，給出的後續回應。這份直白的答案，與 NVIDIA 此前圍繞幾何體、材質和場景理解所做的營銷宣傳，給外界留下的印象並不完全相符。

DLSS 5 並不會直接從遊戲引擎中讀取 3D 幾何體、深度信息，或是美術師製作的材質數據。當被問及該模型是否實際上僅通過單張帶運動矢量的 2D 幀來生成輸出畫面時，官方給出的回答是：“是的，DLSS 5 的輸入爲 2D 幀 + 運動矢量。” NVIDIA 同時表示，該模型對毛髮、織物、皮膚等場景語義，以及光照環境的理解，“均通過對單幀畫面的分析實現”。

NVIDIA 此前對 DLSS 5 的描述，給人的印象是它能對場景實現更深層次的理解。而這份後續回應，卻勾勒出了一個能力邊界更窄的技術圖景。當被問及該模型是否會從引擎中讀取 PBR（基於物理的渲染）屬性時，NVIDIA 回應稱：“DLSS 5 僅將渲染完成的畫面幀與運動矢量作爲輸入，材質信息均從渲染完成的畫面中推斷而來。” 換句話說，該模型並不會直接讀取金屬度、粗糙度、法線貼圖，或是其他底層的材質屬性數據。

這或許就能解釋，爲何部分預覽畫面引發了玩家的擔憂。舉個例子，有一處畫面裏，角色在原本沒有頭髮細節的區域，憑空生成了頭髮細節；還有一處案例中，角色的面部細節（比如鼻子）出現了明顯的改動，這讓人們開始質疑：這個模型到底是在優化光照，還是在篡改角色的外觀？NVIDIA 對此的回應是 “底層幾何體並未發生改變”，同時補充稱這是 “這項技術非常早期的預覽版本”。這份回應只解釋了引擎端的模型數據層面的問題，卻無法改變一個事實：最終顯示的畫面觀感，已經出現了變化。

NVIDIA 的回應同時也表明，開發者對這項技術的可控性依然相當有限。官方稱，開發者可以調整增強強度、色彩分級、融合度、對比度、飽和度、伽馬值，也可以應用遮罩，將特定物體或區域排除在增強範圍之外。但官方的回應中，並未提及開發者有任何直接的方式，去修正 AI 生成的特定面部細節、類似化妝的效果，或是其他對場景的錯誤解讀 —— 開發者能做的，只有降低強度、添加遮罩，或是直接關閉該效果。如果 NVIDIA 能允許開發者爲角色面部提供更高質量的渲染畫面，再交由 DLSS 5 做增強處理，或許就能平息不少爭議，但目前來看，角色面部依然完全由 AI 生成。

以下是丹尼爾與雅各布的完整問答內容：
我最大的疑問是：這個模型是否實際上僅以單張 2D 幀（搭配你方提供的運動矢量）作爲輸入，來生成輸出畫面？這個問題也和我下面要問的幾個澄清問題相關。
答：是的，DLSS 5 的輸入爲 2D 幀 + 運動矢量。
你方稱底層幾何體和紋理並未發生改變。那麼這個模型是否真的能識別 3D 幾何體、3D 深度等信息？還是說，它本質上只是查看 2D 圖像，然後對其進行重新解讀，就像給遊戲截一張圖，然後讓 AI 模型去優化這張截圖，讓它變得更寫實？
答：DLSS 5 經過訓練，能夠僅通過對單幀畫面的分析，理解複雜的場景語義，比如角色、毛髮、織物、半透明皮膚，以及正面打光、背光、陰天等環境光照條件。
你方稱 “使用 DLSS 5 時，底層幾何體和紋理並未發生改變”。但在已公開的一個演示案例中，角色在原本不存在頭髮的位置，長出了新的頭髮。這看起來更像是模型的幾何體和 / 或紋理被改動了，而非僅僅是光照的增強。換句話說，這就像 AI 圖像生成器在重新解讀角色，可能會導致實際的角色細節被篡改。還有些案例裏，角色看起來像是多了原本模型沒有的妝容，這同樣像是在改動底層紋理。
答：底層幾何體並未發生改變。同時值得說明的是，這是這項技術非常早期的預覽版本。
你方稱它能增強材質的 PBR 屬性。那麼它是通過從遊戲引擎中讀取 PBR 屬性來實現的嗎？還是說，它只是 “看” 最終的輸出畫面，然後從中推斷出這些屬性？我的理解是，遊戲美術師通常會通過給着色器賦予金屬度、粗糙度、法線貼圖（用來模擬 “凹凸感”）等屬性，來告訴着色器 3D 模型的特定部分應該呈現什麼樣的效果。DLSS 5 是把這些美術師創建的屬性值作爲輸入，還是說，它只是從最終的渲染畫面中推斷這些信息？
答：DLSS 5 僅將渲染完成的畫面幀與運動矢量作爲輸入，材質信息均從渲染完成的畫面中推斷而來。
當你方描述開發者用來控制模型的工具時，聽起來開發者除了色彩分級（或是在畫面的部分 / 全部元素上關閉 / 降低 DLSS 5 的效果）之外，實際上完全無法控制 DLSS 5 模型對場景美術創作意圖的解讀。舉個例子，《惡靈附身》的開場劇情裏，格蕾絲這個角色帶着強烈的心理創傷，正驅車前往數年前母親被謀殺的同一地點調查兇案。在 DLSS 5 關閉時，我能充分感受到這個角色的情緒；而開啓 DLSS 5 後，雖然她的皮膚和光照效果變得更像照片級寫實風格，但她看起來也像是化了原版畫面裏完全沒有的妝容。這給角色的觀感、以及整個場景的情緒感染力，帶來了完全不同的影響。除了色彩分級之外，開發者真的能控制輸出畫面的任何細節嗎？如果他們看到 DLSS 5 的輸出結果後想要調整，比如不想讓角色被 AI 加上妝容，他們能做到嗎？
答：開發者將擁有詳細的控制項，包括強度和色彩分級。美術師可以通過這些控制項調整融合度、對比度、飽和度與伽馬值，決定增強效果的應用位置與方式，以此保留遊戲獨有的美術風格。開發者還可以用遮罩將特定物體或區域排除在增強範圍之外。我們會持續與開發者溝通，瞭解他們想要控制這項技術的所有方式。歸根結底，我們將 DLSS 5 視爲幫助開發者實現其美術創作願景的工具，而非對傳統實時渲染能力的限制。
這個模型的能力僅限於屏幕空間嗎？還是說，它能識別單張遊戲畫面幀可見範圍之外的環境信息？
答：DLSS 5 僅將渲染完成的畫面幀與運動矢量作爲輸入。
隨着 DirectML to DirectX 的推出，遊戲中的機器學習任務已經可以實現跨硬件的加速。NVIDIA 是否計劃繼續在遊戲中推出 DLSS 5 這類綁定廠商硬件的機器學習技術？還是說，NVIDIA 會允許這些模型通過 DirectML 在任意硬件上運行？
答：關於這一點，我們目前沒有可公佈的信息。