研究论文

3D Gaussian Splatting for Real-Time Radiance Field Rendering

2023 年把 3D 高斯基元变成实用实时辐射场表示的基础论文,是理解现代 3DGS 训练、渲染和工具生态的起点。

August 2023基础方法arXiv:2308.04079

详细解读

论文最核心的转变,是把稀疏 COLMAP 点云变成可学习的各向异性椭球集合。每个高斯保存位置、透明度、尺度、旋转和球谐颜色系数。训练时,渲染图像与输入照片比较,梯度直接更新这些显式参数,而不是穿过一个大型神经场。

密度控制是另一个关键。模型一开始不知道场景需要多少个基元,因此会反复克隆、分裂和裁剪高斯。误差高或细节不足的位置获得更多基元,透明或无用的基元会被删除。这让表示能从稀疏 SfM 点逐步长成密集视觉场景。

渲染同样是贡献的一部分。方法把 3D 协方差投影到屏幕空间,对高斯做深度排序,并在 GPU 上进行 alpha 合成。它把连续辐射场优化和类似光栅化的实现连接起来,因此高质量新视角合成首次变得足够交互。

局限也来自这种灵活性。图像重建损失并不保证高斯落在干净曲面上,也不保证拓扑、材质和光照分离。后续很多 3DGS 论文,本质上都在修复它留下的问题:几何、压缩、动态、编辑、抗锯齿或稀疏输入。

论文解决了什么

这是现代 3D Gaussian Splatting 的起点。论文用显式的各向异性 3D 高斯替代重神经网络的辐射场表示,并从 COLMAP 稀疏点初始化场景。

方法联合优化高斯的位置、协方差、透明度和视角相关颜色,再通过快速、可见性相关的 splatting 管线完成实时渲染。

核心思路

  • 使用显式 3D 高斯,避免在空空间中进行大量神经场计算。
  • 提出自适应密度控制,在优化中克隆、分裂和裁剪高斯。
  • 用各向异性协方差和球谐颜色表达形状与视角相关外观。
  • 让高分辨率新视角合成从离线结果变成可交互体验。

为什么重要

  • 它定义了后续大多数 3DGS 论文都会继承或修改的表示和渲染基线。
  • 它让照片级场景渲染进入工具、查看器、采集应用和 Web 管线。
  • 理解它之后,后续关于几何、压缩、动态和编辑的工作会更容易读。

适合阅读的人

  • 你想理解一个 Gaussian 里到底存了什么。
  • 你正在实现查看器、训练器、转换器或质量改进方法。
  • 你需要掌握后续 3DGS 论文都会使用的基本术语。

局限与注意点

  • 几何不是干净曲面表示,网格抽取和物理交互不是它直接解决的问题。
  • 大场景会产生数百万高斯,存储和传输压力很大。
  • 原始流程假设相机位姿可靠、采集覆盖充足。