📄 论文总结
FastHMR：一种高效的人体网格恢复框架 / FastHMR: An Efficient Framework for Human Mesh Recovery
1️⃣ 一句话总结
本文提出了一种名为FastHMR的高效人体网格恢复框架，通过误差约束层合并和掩码引导令牌合并策略减少计算复杂度，并结合扩散解码器恢复精度，在保持准确性的同时实现2.3倍加速。
2️⃣ 论文创新点
1. 误差约束层合并(ECLM)
- 创新点：基于MPJPE误差阈值迭代合并表示相似度高的连续Transformer层
- 区别/改进：减少模型深度同时保持准确性
- 意义：解决层间冗余问题，降低计算复杂度
2. 掩码引导令牌合并(Mask-ToMe)
- 创新点：利用粗略的人体-背景分割来合并冗余的背景令牌
- 区别/改进：减少令牌数量同时保留基本的人体中心和上下文信息
- 意义：解决空间冗余问题，提高计算效率
3. 扩散解码器
- 创新点：基于扩散的解码器，结合时间上下文和从大规模运动捕捉数据中学到的姿态先验
- 区别/改进：恢复合并带来的精度损失，产生平滑的网格轨迹
- 意义：不仅恢复精度，还能略微提升性能
4. 速度预测训练目标(v-prediction)
- 创新点：采用速度预测而非传统的噪声预测作为训练目标
- 区别/改进：仅需单次去噪步骤和单个样本即可收敛到准确估计
- 意义：提高扩散模型的训练稳定性和效率
3️⃣ 主要结果与价值
结果亮点
- 在标准GPU上实现高达2.3倍的推理加速，吞吐量从54.5 fps提升至103.4 fps
- 在3DPW和EMDB数据集上MPJPE从73.3 mm降低至71.6 mm
- 相比现有方法，在保持可比内存使用量(2,787 MB vs 2,898 MB)的同时提升性能
实际价值
- 提供更广泛可部署和时间一致的解决方案，无需依赖自定义块、替代模式或专用硬件
- 实现150.0 fps的高吞吐量，适合实时应用场景
- 唯一同时超越实时阈值、减少时间抖动并保持确定性精度的方法
4️⃣ 术语表
- MPJPE：平均每关节位置误差，HMR任务中的评价指标，数值越低表示3D人体姿态估计精度越高
- FastHMR：本文提出的框架，通过令牌和层合并结合扩散解码器来加速人体网格恢复
- SMPL：蒙皮多人线性模型，一种人体姿态参数表示方法
- CKA：中心核对齐，用于量化神经网络内部表示相似性的度量方法
- VAE：变分自编码器，用于学习姿态序列的潜在表示
- v-prediction：速度预测训练目标，替代传统的噪声预测，提高收敛效率