談談爲什麼我對DLSS 5感到懷疑

在DLSS 1遭遇過巨大失敗，而推翻重做的DLSS 2到4獲得廣泛認可甚至到廣受讚譽後，DLSS 5似乎又要重新嘗試挑戰DLSS 1這個方向了。

結合目前的信息，DLSS 5使用的模型有着還算可用的幀間穩定性，對輸入底圖的質量要求很高，不會隨意憑空生成，而且創作者對風格、細節層次和mask都會有充分的控制。

可惜Demo來看，除了幀間穩定性似乎還行外，風格破壞極爲嚴重，還有很多人還聲稱這些Demo都來自原製作團隊——那問題其實就更大了，意味着可控性更加可疑了。

稍微談一下原理。

DLSS 1：
用針對特定遊戲訓練、包含遊戲畫面先驗知識的神經網絡模型給低分辨率畫面補細節完成的超分。
DLSS 2-4：
本質是TAAU，用通用神經網絡模型來控制TAAU的參數。
DLSS 5：
基於圖生圖，訓練神經網絡給出殘差，從而爲遊戲畫面添加「電影級細節」。

也就是說，DLSS 2-4實際上只是「信息重建」，天然強依賴於真實渲染的信息，AI僅介入處理如何融合數據這個部分，是嚴格以constraint-driven爲主的系統，總體上仍然屬於確定性 (deterministic) 問題。

而DLSS 1和5，則是直接讓AI生成細節，是明顯以prior-driven爲主的系統。那麼，幻覺和時間一致性問題在原理上就很難避免，因爲它本身就是強概率性 (probabilistic) 問題。

最核心的問題就在這裏：既然是基於先驗知識的概率傾向推斷，這對風格化渲染到底是不是真的適用？生成模型會在多大程度上表現出「把一切都拉向現實紋理」的傾向？
尤其是這些Demo非常明顯地表現出了這個傾向，意味着NVIDIA很可能就是希望大家這麼用——那麼，難道地球Online的現實畫風就是終極追求？這似乎並不符合人類的藝術觀念吧？

DLSS 2好在它是一個表面黑箱、實際原理非常清晰的系統，AI並不直接生成細節，而是幫助「恢復曾經存在過的信息」；而DLSS 5又和1一樣，要直接用帶先驗知識的黑箱生成「實際並不存在的信息」了。

不知道NVIDIA是不是趁着現在AI風頭正勁，想再次塑造一次大衆認知？不然很難理解爲什麼DLSS 1已經被驗證過的錯誤方向要再拿出來試一下。當然還有一種可能，NVIDIA在賭未來的實時渲染完全不在乎正確性，而是隻在乎感知最優。

不過目前來看大衆大概還是接受不了，已經被DLSS 5梗圖刷屏一天了。