NVIDIA在科隆遊戲展推出的DLSS 3.5，厲害在什麼地方？

在過去五年中，NVIDIA DLSS已經歷經了數個重要版本更新，從DLSS1協助提升光追性能，到DLSS 2引入新的神經網絡模型，DLSS 2.3改進運動細節表現，DLSS 3將幀生成、Reflex等多項技術進行整合。就算是在上週進行的《黑神話：悟空》的千人試玩活動中，“大力水手”DLSS也早已成爲遊戲討論之餘無法繞過的話題。

但NVIDIA沒有滿足於此，在正在進行的科隆遊戲展2023上，NVIDIA正式公佈了全新的DLSS 3.5技術，目標是將實時光線追蹤技術提升到全景光線追蹤級別，也就是我們常說的路徑追蹤。

在DLSS 3.5中，光線追蹤將會獲得光線重建加速，利用全新的AI模型，實現遊戲中的密集光追和應用中創建更高質量光線追蹤圖像效果。而NVIDIA也在DLSS 3.5發佈的同時，確認瞭如下游戲對新技術的支持，其中包括：

《心靈殺手 2》(Alan Wake 2)將於10月27日發佈，支持 DLSS 3.5、全景光線追蹤和Reflex；
《賽博朋克 2077》(Cyberpunk 2077)和《賽博朋克2077：往日之影》(Cyberpunk 2077: Phantom Liberty)將於今年9月發佈，支持DLSS 3.5、全景光線追蹤和Reflex；
《傳送門》RTX版 (Portal with RTX) 將於今年秋季支持 DLSS 3.5；
《心靈殺手 2》(Alan Wake 2)、《賽博朋克 2077：往日之影》 (Cyberpunk 2077: Phantom Liberty)將在GeForce Now上同步發佈，同一天，DLSS 3.5也將登陸GeForce NOW。

在專業專業軟件領域，D5渲染器和NVIDIA Omniverse也都會在今年秋季率先對DLSS 3.5提供支持。

在上週的媒體溝通會中，NVIDIA已經大方展示了即將上線的DLSS 3.5帶來的光線追蹤效果，在維持高幀率的同時，還能獲得更爲清晰、準確的畫面。特別是對於GeForce RTX 40系列的用戶而言，光線重建與幀生成結合，能夠獲得新遊戲的最佳體驗。同時，GeForce RTX 20和GeForce RTX 30系列用戶，則可以通過光線重建與超分辨率、DLAA同時開啓，以獲得不錯的效果。

那麼DLSS 3.5是如何實現的？

讓我們先來簡單複習一下光線追蹤是如何工作的。在遊戲引擎生成場景的幾何圖形、材質中，其實都包含有物理屬性，這些物理屬性會影響到場景中的物品外觀、光線之間的交互方式。依靠遊戲視角發射的採樣光線，最終確定場景中的光源屬性、射線、材質反應，以生成反射、漫反射、折射等多種效果。最簡單的例子，就是在遊戲中用光照鏡子生成的反射射線。

在這個過程中，如果對屏幕中每個像素髮射光線計算都提出很高的要求，那麼一幀遊戲畫面很可能需要幾分鐘甚至數小時來運行，這樣遊戲是沒法玩的。現在常規的光線追蹤做法就是通過光線採樣，在各個場景中採集少量的光線，作爲場景照明、反射率、陰影表現的樣本。

由於採樣率不多，畫面中的光線表達不準確、噪點、離奇光線實際上是無法避免的。因此在完成一幀遊戲畫面渲染之後，還需要額外的進行降噪計算來彌補光線追蹤採樣率過少所帶來的畫質損失。

因此降噪在光線追蹤技術中成爲了不可或缺的一部分。通常而言，降噪器會採用兩種不同的方式實現降噪。一種是通過多幀累計像素，另一種則是提供空間插值並與相鄰的像素混合在一起，以實現最終的畫面效果。這兩個方式均屬於人工調整的降噪器範圍。

降噪器的干預下，光線追蹤畫面確實有了質的提升，但也增加了開發成本和複雜程度。比如，當你想獲得一個質量更高的畫面時，多個降噪器同時工作將意味着拉低實際運行遊戲時的幀率。因爲每個降噪器都需要累積多幀以增加細節，從根本上而言，這樣的方式仍然難以消除鬼影、動態效果不準確的情況。

而我們知道DLSS本質的過程是讓GPU渲染相對低分辨率的畫面，並通過AI的手段獲得與目標分辨率近乎相同的畫質。當光線追蹤照明管線在DLSS中被放大之後，也意味着原本的瑕疵也會跟着被放大，前面提到基於人工調整的降噪器侷限性在這裏被進一步拉大。

DLSS 3.5：用AI代替人工

正如開頭所言，最新版本的DLSS 3.5引入一套名爲光線重建技術，將AI驅動的神經渲染器變成GeForce RTX GPU光追中的一部分，原本人工調整的降噪器被替換成AI網絡實現，也就是由GPU接手遊戲製作過程中，本應該是創作人員手動添加的那一部分。

從數據量上來看，DLSS 3.5訓練數據是DLSS 3的5倍，可以識別出不同的光線追蹤效果，並通過時間、空間數據做出更明智的決策，通過保留高頻信息實現高質量的光線追蹤圖像升級。

而與前輩們一樣，光線重建也是一項離線圖像訓練技術，它可以從訓練數據中識別光照模式，包括全局光照、環境光遮蔽等情況，前面提到的全景光線追蹤實現起來也變得更爲輕鬆。

例如在《傳送門RTX》中，如果關閉DLSS，降噪器是難以處理空間插值的，進而無法混合足夠的像素，導致最終畫面產生大量不準確光線造成的斑點。而在DLSS 3.5中，則可以直接識別與反射相關的特定模式，時刻保持圖像穩定，實現混合相鄰像素之間的高質量光照反射效果。

同樣在《賽博朋克2077》中，可以看到車燈的照射方向由於人工調整降噪器的採樣不準確，表現效果與實際情況是相違背的。而在DLSS 3.5中，能夠很好的解決這一點。

同樣的效果在廣告牌、霓虹燈反射的積水路面上，也有了更清晰的效果。

在專業應用領域，DLSS 3.5也可以提供很好的效果。比如在預覽內容時，藉助AI神經網絡對場景識別，可以避免數個小時的最終渲染，就能獲得非常直觀的效果。其中D5渲染器宣佈將會在今年秋季開始支持DLSS 3.5。

光線重建（RR）與DLSS生成幀（FG）技術搭配，便成了DLSS 3.5質變的原因，根據NVIDIA演示，結合了超級分辨率（SG）、光線重建（RR）與DLSS生成幀（FG）之後，相對於原生的4K遊戲華民，《賽博朋克2077》表現可以提升5倍，並且光影效果也有了質的改變。

可以這麼理解，原本需要創作人員手動添加的多重降噪器以後會被一套光線重建神經網絡取代，在性能成本損失代價較少的前提下，提升光線追蹤質量、幀率，從而獲得更好的遊戲畫面體驗。當然，前提是你需要GeForce RTX 40系列以後的GPU，對DLSS 3.5提供完整支持。RTX 20和30系列需要依靠光線重建、超分辨率、DLAA同時開啓來實現部分效果。