详细解读
Gaussian Grouping 从人类编辑方式和 splat 存储方式的错位出发:用户想操作对象,原始 3DGS 存的是大量基元。论文给每个高斯加入身份或分组特征,让一组基元能对应物体实例或语义区域。
监督主要来自 2D 分割 mask,尤其是 SAM 风格的 mask。通过可微渲染,身份特征被优化到能在多视角复现这些 2D mask;同时 3D 空间一致性约束防止相邻或相关高斯得到互相冲突的身份。
关键难点是多视角标签一致性。单张图里的 mask 只覆盖物体可见部分,边界还会因遮挡变化。共享的 3D 高斯基元成为多张 2D 观测投票的汇合点,从而形成更稳定的 3D 身份。
这篇论文重要,因为它把重建结果变成可操作平台:一旦高斯被分组,删除、换色、补绘和重新组合都更可控。局限是最终质量依赖上游 mask 和场景歧义,透明、细薄和严重遮挡对象仍然难。