研究论文

FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

一篇关于少样本新视角合成的 3DGS 论文,核心思路是在非常稀疏输入视角下约束高斯优化,减少过拟合和几何崩坏。

December 2023Few-Shot ReconstructionarXiv:2312.00451

详细解读

FSGS 研究极少视角输入下的 3DGS。标准 3DGS 依赖足够多视角和可靠相机位姿;当只有少量图像时,模型很容易把训练视角拟合得很好,却在新视角暴露浮点、错误深度和几何坍塌。

论文的核心是给高斯优化加入更强的先验和正则,让表示不要用任意透明度、尺度或颜色去解释稀疏观测。少样本场景里,每个可见像素承担了更多约束,因此几何一致性比普通密集采集更重要。

读这篇论文时,重点看它如何控制过拟合:哪些项约束深度或法线,哪些项限制高斯增长,哪些设计让未观测区域不至于产生明显伪影。它不是简单减少图片数量,而是在重新分配不确定性。

它对手机快速扫描、稀疏采集和数据昂贵的场景有价值。局限是少视角本身信息不足,隐藏面和复杂反射仍然只能依赖先验猜测,不可能像充分多视角重建那样可靠。

论文解决了什么

FSGS 面向极少输入视角的新视角合成,核心是防止 3DGS 在稀疏观测下过拟合训练图像并破坏几何。

它通过额外正则和约束控制高斯优化,让未观测区域和新视角更稳定。

核心思路

  • 针对 few-shot 输入限制高斯自由度。
  • 用几何和外观正则降低过拟合。
  • 关注稀疏视角下的新视角质量和几何稳定性。

为什么重要

  • 真实用户常常无法采集足够密集的多视角图像。
  • 少视角是原始 3DGS 很容易失败的场景。
  • 它为快速扫描和低数据量重建提供了参考。

适合阅读的人

  • 你只有少量照片或视角。
  • 你在比较稀疏输入 3DGS 方法。
  • 你想理解为什么多视角覆盖对 splat 很关键。

局限与注意点

  • 隐藏面信息不足时仍然只能依赖先验推断。
  • 复杂反光和薄结构在少视角下尤其脆弱。
  • 强正则可能牺牲训练视角细节。