研究论文

SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping

一篇关于动态场景加速的 3DGS 论文,核心思路是裁剪低影响时间基元,并把逐高斯形变蒸馏为分组运动。

June 2025动态加速arXiv:2506.07917

详细解读

动态 3DGS 常把场景存成 canonical 高斯,再用神经形变场在每个时间点移动每个高斯。质量可以很高,但每帧都为大量基元查询神经运动会成为主要瓶颈。SpeeDe3DGS 问的是:哪些基元和运动查询在时间上其实没必要。

Temporal Sensitivity Pruning 衡量每个高斯在整段序列中的贡献,而不是只看单帧。跨时间贡献弱的基元可以被删掉,从而同时降低渲染工作量和内存;这比静态裁剪更适合动态场景,因为有些贡献只在特定时间段出现。

Temporal Sensitivity Sampling 通过扰动时间戳来提升鲁棒性。动态模型如果只拟合精确训练时间,容易在帧间产生浮点和不连续;围绕时间采样能鼓励模型在相邻时间表现平滑。

GroupFlow 是最值得读的部分:它把相似轨迹的基元聚成组,用共享 SE(3) 变换替代逐高斯神经形变查询。局限是分组刚体运动会低估高度非刚性细节,但它给动态 3DGS 加速提供了模块化工具。

论文解决了什么

SpeeDe3DGS 针对可形变 3DGS 的主要成本:每一帧都要为大量高斯做神经运动推理。

它结合时间敏感裁剪、时间敏感采样和 GroupFlow,减少基元、抑制时间伪影,并用共享 SE(3) 分组运动替代大量逐高斯形变。

核心思路

  • 把逐高斯神经推理视为动态渲染主要瓶颈。
  • 用时间敏感性裁剪序列中低影响高斯。
  • 用时间戳扰动减少浮点并提升时间一致性。
  • 通过 GroupFlow 把形变蒸馏为分组 SE(3) 变换。

为什么重要

  • 动态 splat 比静态 splat 更难部署,这篇直接降低部署成本。
  • 它让裁剪和压缩决策具备时间意识。
  • 它适合 4D 捕获、体积视频和动态场景交互播放。

适合阅读的人

  • 你在构建或评估动态 3DGS 系统。
  • 你想理解运动场为何成为渲染瓶颈。
  • 你需要实用的动态场景压缩和加速策略。

局限与注意点

  • 分组刚体运动可能欠拟合高度非刚性局部形变。
  • 时间裁剪若估计不准会损伤短暂细节。
  • 方法建立在可形变 3DGS 假设上,不能解决所有动态重建问题。