研究论文

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

一篇关于结构化高斯和视角自适应渲染的 3DGS 论文,核心思路是围绕 anchor 组织高斯,并预测视角自适应 neural Gaussians 以减少冗余。

November 2023高效渲染arXiv:2312.00109

详细解读

Scaffold-GS 试图给原始 3DGS 增加结构。标准方法直接优化大量独立高斯,灵活但冗余,也不容易跨视角自适应。论文围绕 anchor 组织高斯,让局部结构和视角相关生成更加可控。

每个 anchor 可以预测一组 neural Gaussians,并根据视角调整细节。这样场景不再只是无结构基元集合,而是由更稀疏的支架控制局部高斯生成,减少冗余并提升可扩展性。

算法重点是 anchor、特征和视角自适应之间的分工。anchor 保存稳定空间信息,神经预测补充视角相关属性,高斯渲染则继续提供快速 rasterization。

这篇论文影响很多后续结构化和压缩方法。局限是引入神经预测后实现复杂度增加,运行时也可能多出 MLP 或特征查询成本,是否值得取决于场景大小和目标设备。

论文解决了什么

Scaffold-GS 围绕 anchor 组织高斯,并预测视角自适应 neural Gaussians,以减少冗余并提高结构化表达能力。

它把原始独立高斯集合改造成更有支架的表示,使局部细节可以随视角生成。

核心思路

  • 用 anchor 组织局部高斯结构。
  • 预测视角自适应 neural Gaussians。
  • 在紧凑性、质量和可扩展性之间寻找平衡。

为什么重要

  • 它影响了大量结构化、压缩和可泛化 3DGS 方法。
  • 它说明高斯不一定要作为完全独立的扁平基元存在。
  • 它适合大场景和冗余严重的重建。

适合阅读的人

  • 你想理解 anchor-based Gaussian 表示。
  • 你在做压缩、加速或结构化 splat。
  • 你关心视角自适应渲染质量。

局限与注意点

  • 神经预测增加实现复杂度。
  • 运行时可能引入特征查询或 MLP 成本。
  • 收益取决于场景规模和目标设备。