研究论文

3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

一篇关于畸变相机和二次射线的 3DGS 论文,核心思路是用 Unscented Transform 推广高斯投影,支持畸变相机和二次射线效果。

December 2024 / CVPR 2025RenderingarXiv:2412.12507

详细解读

3DGUT 从一个经常被忽略的渲染假设出发:原始 3DGS 基本按理想针孔相机投影高斯。真实设备可能有鱼眼畸变、广角畸变、滚动快门或其他非线性成像过程;如果先把图像强行去畸变再训练,信息可能已经被重采样损失。

论文用 Unscented Transform 替代经典 EWA 风格的局部线性投影。一个高斯由一组 sigma points 表示,这些点可以穿过任意非线性相机函数精确投影,再重构屏幕空间分布的近似足迹。这样既保留 splatting 的效率,又能支持更多相机模型。

第二个重点是把高斯渲染和光线追踪式的二次射线对齐。反射、折射这类效果不是简单的主相机射线投影,3DGUT 展示了高斯表示如何在射线路径发生交互后继续参与渲染。

这篇论文说明 3DGS 正从快速查看技巧成熟为更通用的图形基元。代价是数学和实现复杂度更高,但收益是能处理更接近生产环境的相机、全景设备和光学效果。

论文解决了什么

3DGUT 解决原始 3DGS 的实际限制:标准 rasterization 公式默认理想针孔相机,也不自然支持反射、折射这类二次射线效果。

论文用 Unscented Transform 近似替代 EWA 投影,让 sigma points 可以穿过非线性相机模型,同时保留高效 splatting。

核心思路

  • 支持鱼眼畸变、滚动快门等非线性相机投影。
  • 让高斯渲染与 tracing 风格公式对齐,从而表示二次射线。
  • 保留 3DGS 对实时系统有价值的效率优势。

为什么重要

  • 真实采集很少完全符合针孔相机假设,这是 2025 年渲染方向的重要论文。
  • 反射和折射在实际材质中很常见,二次射线能力很关键。
  • 它指向一种同时支持快速光栅化和更丰富光传输的 splat 渲染未来。

适合阅读的人

  • 你使用鱼眼、广角、滚动快门或其他畸变相机采集。
  • 你在构建需要反射、折射或真实相机模型的渲染器。
  • 你想理解 rasterized 3DGS 和 particle tracing 的交汇点。

局限与注意点

  • 更丰富的相机和射线支持会提高渲染器复杂度。
  • 二次效果仍比直接外观重建更贵、更难。
  • 它是渲染公式论文,不是完整编辑或重建管线。