今天立夏了,五一假期也已经到了尾声,还在上学的盒友们是不是正在为为毕设忙的焦头烂额,又因为天气的闷热而心烦意乱呢?那我觉得盒友们来和我一起看一篇论文放松放松吧!
今天给盒友们送上一篇简简单单的小论文,我相信以盒友们的帅气的剑眉星目的小脑袋里面装的满满的只要用起来堪比奥本海默那让人“闻风丧胆”的让人羡慕的聪明才智(天呐这真的就是你),看懂这篇简单的小论文并不成问题。但是如果盒友懒得去找原文链接,那就请允许我为大家简单介绍一下这篇论文。
过去几年,**NeRF(神经辐射场)**成为图形学领域的超级明星,它让“从一堆照片生成任意角度的真实场景”变成现实——就像是为世界打上了“可旋转浏览”的光影魔法。
但问题也明显:
📉 渲染速度慢,动辄几分钟一帧;
🧠 训练成本高,需要庞大的神经网络、数小时甚至数天的训练;
🕹️ 无法实时互动,难以落地游戏、VR、交互式应用。
怎么办?
本文作者另辟蹊径:不再执迷于体素、MLP、神经网格,而是提出一个轻量、显式、真实可控的新表示方法——
✅ 使用“3D 高斯分布”来描述场景;
✅ 结合快速光栅器实现 1080p 分辨率、30FPS 以上的实时渲染;
✅ 与最快的InstantNGP训练时间相当,质量甚至超过目前画质最好的Mip-NeRF360!
🎯 简言之,这篇论文提出了一个真正可落地、可部署在游戏引擎中的渲染系统。
🖼️Fig.1:开幕雷击!
fig1
图中对比了当前主流方法的训练时间、PSNR(画质指标)、帧率,惊人发现:
🎉 第一次:训练只需几分钟,帧率超过100,还能与最强画质平起平坐甚至超越!
🧱 二、技术结构:我们用高斯点云建造真实世界
作者摒弃了“采样体素 + 网络MLP + 射线积累”这一套路,而是采用了三大核心设计:
✨ 1. 使用 3D 高斯点(Gaussian Splat)表示场景
传统NeRF是隐式表示(MLP生成场景密度),而这里:
每个高斯点有明确的位置、颜色(Spherical Harmonics)、透明度 α;
点的形状可以是各向异性的椭球体,用于紧凑贴合物体表面。
这带来两个大好处:
🌍 表达能力强:可以精细覆盖建筑细节、树叶结构;
🧮 显式结构:易于快速渲染,尤其适合GPU光栅管线。
🧩 2. 高斯点的属性通过优化得到,而不是预测
不像NeRF靠MLP学出来,这里直接“手动”调高斯点的:
位置
大小和形状(协方差矩阵)
透明度 α
色彩表示(用球谐系数 SH)
🎯 优化是通过真实图像误差反向传播得到的,而且是可微渲染器驱动的!
⚡ 3. 引入高速可微光栅器(Tile-based Rasterizer)
这就是论文的核心引擎:
这玩意类似 GPU 中的 tile 渲染(屏幕切块,局部并行);
对所有高斯点进行深度排序;
每个 tile 逐像素进行 alpha 混合(类似NeRF中的透射率加权);
支持反向传播,训练时可用!
🖼️接下来,有请我们的Fig.2!
fig2
从输入照片到3D高斯点,到密度控制、渲染、优化,一目了然。
图中展示流程:
用 Structure-from-Motion 得到稀疏点云;
初始化高斯点;
训练阶段:不断优化高斯参数,控制密度;
渲染阶段:实时、差异化渲染器高效输出图像。
🖼️ Fig. 3:优化后高斯形态展示
fig3
展示出高斯点如何由球变椭球、形态贴合几何表面,使得整个场景用更少的点表达更多结构。
🧪 Fig. 4:密度调控策略——Clone vs Split
fig4
论文提出:
对小但重要的区域,克隆现有高斯点(Clone);
对覆盖太大的区域,拆分大点为多个小点(Split);
并定期清理透明度极低的无效点。
这使得整个场景点云在有限大小下变得最优表达!
🧠 四、可微渲染器实现细节
🖼️ Fig. 5:不同方法图像对比(我们赢在哪儿?)
fig5
对比 InstantNGP、Mip-NeRF360 等方法,作者方法图像更清晰,细节更锐利,特别是:
树叶、灯光、反射、墙体细节;
没有NeRF那种“模糊抖动”感;
渲染速度却快几百倍!
🖼️ Fig. 6:训练迭代轮数 vs 图像质量
fig6
7K迭代(5-8分钟)就能渲染出不错画面;
30K迭代(约30分钟)后,质量完全对标SOTA。
🧪 消融实验(Figs. 7–10)
fig7
fig8
fig9
fig10
作者逐一测试了不同模块的重要性:
没有各向异性协方差?质量明显下降;
限制反向传播点数?PSNR直接掉10+;
不使用Clone/Split?细节严重丢失;
不用球谐?颜色不真实。
✅ 说明每个设计点都不是装饰,而是核心!
❗ 五、论文成就总结:我们不是比NeRF好一点,而是完全不同的轨道
作者给出这样的总结:
“我们的方法首次实现了高质量、真·实时的辐射场渲染,同时具备良好可训练性与表达能力。”
🎮 六、与游戏产业的结合
🔧 虽然论文本身偏学术,但其背后的价值已经被行业看见:
Epic 已将方法集成进 Unreal 实验插件;
NVIDIA 在 Omniverse 里测试用于数字孪生;
Google Immersive View 使用类似技术还原城市街区;
据称 Valve 正在为 Alyx 系列原型测试此技术用于VR世界构建。
在最后!补充解读:Fig. 11 和 Fig. 12 —— 真诚面对缺陷,才是顶尖工作的标配!
🖼️ Fig. 11:失败案例对比:粒化感与粗高斯的问题
fig11
这张图对比了作者方法与 Mip-NeRF360 的“失败画面”。
左侧(Mip-NeRF360):背景中有明显的“浮动块”(floaters),尤其在前景区域出现了“颗粒感”伪影;
右侧(Ours):尽管没有floaters,但在背景上出现了“低细节、拉长形状”的粗高斯结构,看起来有些“糊”。
🔍 这说明什么?
作者的方法虽然显著减少了传统方法的“浮动漂移问题”,但仍然存在:
📉 粗高斯(large anisotropic Gaussians)在某些区域会使细节丢失;
📸 尤其在远景中容易出现“纹理稀疏或拉伸”的现象。
🖼️ Fig. 12:新视角下的伪影问题
fig12
这张图展示了训练集中没覆盖到的视角,系统在这些新视角下的表现:
左侧(Mip-NeRF360):有些失真,但结构仍在;
右侧(Ours):部分区域出现明显错乱,比如“块状爆裂”和“融合失败”。
🔍 这说明什么?
尽管高斯方法强大,但:
对于“训练视角未覆盖”的区域,优化器可能错误拟合或空洞补全失败;
这类问题也正是3D重建中最难的挑战之一:如何处理不可见区域。
Gaussian Splatting
未来当你看到游戏里街道、树影、阳光透过窗帘照进来的一幕觉得“卧槽这也太真了吧”——
也许背后,就有这篇论文的一点影子。
更多游戏资讯请关注:电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com