研究论文

SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM

一篇关于密集 RGB-D SLAM 的 3DGS 论文,核心思路是用 3D 高斯从 RGB-D 相机进行在线跟踪、建图和实时渲染。

December 2023RGB-D SLAMarXiv:2312.02126

详细解读

SplaTAM 把高斯当作在线 RGB-D SLAM 的 live map。普通 3DGS 先求相机位姿再离线重建;SLAM 则必须在新帧到来时同时估计位姿和地图,RGB-D 深度为这个增量过程提供了关键几何约束。

系统在 tracking 和 mapping 之间交替。tracking 阶段渲染当前高斯地图,并优化相机位姿去匹配输入 RGB-D 帧;mapping 阶段在新表面出现的位置添加或更新高斯,并用 silhouette 和深度线索控制地图增长。

RGB-D 的好处是显著降低歧义。纯 RGB 3DGS 依赖 SfM 初始化和多视角光度线索,而 SLAM 需要做即时决策;深度能更可靠地放置高斯,并用渲染残差继续细化位姿。

这篇论文把 splatting 和机器人式状态估计连接起来。它仍会受到噪声深度、快速运动、回环和动态对象影响,但说明了为什么高斯适合作为密集地图:可优化、可渲染,也能被直接检查。

论文解决了什么

SplaTAM 把 3DGS 带入具身建图:它不假设已有离线 COLMAP 位姿,而是从移动 RGB-D 相机在线跟踪和建图。

方法使用可微渲染和 silhouette 引导优化,在估计相机位姿的同时扩展并细化密集高斯地图。

核心思路

  • 用高斯作为同时服务跟踪和渲染的地图表示。
  • 随着新区域被观测,在线扩展地图。
  • 展示了位姿估计、地图构建和新视角合成结果。

为什么重要

  • 它是早期最有影响力的 Gaussian SLAM 系统之一,并有较大的开源影响。
  • 它把 3DGS 连接到机器人、具身 AI 和实时建图,而不是离线采集。
  • 它证明 splat 可以作为 live map,而不只是离线渲染资产。

适合阅读的人

  • 你做 RGB-D 建图、机器人、AR 扫描或在线重建。
  • 你想避免离线 SfM 前置条件。
  • 你在比较 Gaussian map、神经地图和 TSDF 地图。

局限与注意点

  • 方法依赖 RGB-D 输入,不是纯单目方案。
  • 在线系统必须平衡跟踪鲁棒性、地图增长和计算预算。
  • 快速相机运动和糟糕深度仍会伤害跟踪与重建。