EasyMocap：將影片轉換為 3D 人體動作

重点与成果

EasyMocap 是 ZJU3DV 用于从 RGB 视频进行无标记人体动作捕捉的工具箱。它结合姿态检测器、相机几何、跟踪和参数化人体模型，以恢复 3D 骨架和身体动作。它支持多种捕捉设置，包括经过标定的多相机录制、单目互联网视频和镜面辅助捕捉。对于动画和计算机视觉研究人员而言，其价值在于提供了一条可检查的处理流程，其中间检测结果、重建结果和拟合结果都可以分别检查。官方仓库。

该仓库演示了使用 SMPL、SMPL+H、SMPL-X 和 MANO 进行身体、手部和面部拟合，同时还包含多人重建及相关的新视角合成项目。其快速入门数据集包含来自 23 台同步且经过标定的相机的 800 帧画面。这些是具体演示，并不代表对每种支持模式都能提供单一的精度保证。快速入门。

一项研究基础工作《从多视角快速且稳健地进行多人 3D 姿态估计》报告称，在 Campus 数据集上的 PCP 为 96.3%，在 Shelf 数据集上的 PCP 为 96.9%。PCP 用于衡量在这些基准协议下正确估计的人体部位比例。这些是该论文中特定方法的结果，并不是当前 EasyMocap 代码版本或其单目路径的测量结果。

工作原理

标准的多视角流程从同步图像和相机标定开始，依次进行 2D 关键点检测、多人场景下的跨视角关联、三角测量得到的 3D 骨架、时间跟踪以及分阶段的人体模型拟合。主要编排入口会为重建和拟合选择配置文件；这是一个模块化的估计系统，会针对不同捕捉条件采用不同路径。入口。

对于单人场景，检测到的关节会带有置信度分数。相机投影矩阵会将匹配的 2D 观测转换为 3D 关节估计。多视角演示会将这些估计结果重新投影到各个相机中，拒绝超过其重投影误差阈值的观测，然后再次进行三角测量。这种反馈机制使得在拟合人体网格之前即可发现检测错误。因此，标定和同步是决定重建质量的输入，而不是可有可无的润色步骤。单人重建。

多人场景会引入身份关联问题：不同相机中的检测结果必须属于同一个人。该研究论文将外观和极线证据与循环一致的多路匹配相结合。经检查的 EasyMocap 演示则更加具体：其默认配置使用基于射线的几何亲和度和奇异值阈值匹配，随后进行关联和几何接受检查。在该配置下，至少需要三个支持视角。因此，不应将论文中完整的基于外观的方法默认归因于仓库中的每个预设配置。默认配置；亲和度实现。

拟合会将骨架测量结果转换为连贯的人体表面。经检查的流程会根据四肢长度估计共享的身体形状，优化全局旋转和平移，然后优化身体姿态；如果所选模型支持，还会继续拟合手部或面部表情。可选的 2D 阶段会进一步拟合重投影证据。加权关节损失、正则化和时间项会约束结果。这些是明确的人体模型参数，而不是通过去噪扩散潜变量生成的动作。分阶段拟合。

单目路径则将 2D 观测与 CNN 初始化和人体模型先验相结合。由于没有可用于三角测量的同步相机视角，其深度歧义不同于多视角捕捉。输出包括逐帧 3D 关节 JSON，以及姿态、形状、全局旋转 Rh 和平移 Th 等身体参数。文档所述表示方式使用 V = R X(θ, β) + T；不应将 Rh 不加判断地复制到 SMPL-X 的 global_orient 字段中。输出约定。

应用、可用性和未来方向

EasyMocap 为动作分析、虚拟形象动画和人体重建提供了有用的研究起点。其捕捉输出不会自动成为带纹理的虚拟形象，也不会自动成为重定向到任意角色的动画。文档将 BVH 导出列为使用 Blender 和 SMPL 资源的独立步骤。在经检查的提交版本中，仓库的 Project Registration License 允许在无需注册的情况下用于研究、教育、评估和个人用途，而组织项目用途则需要注册；人体模型依赖项有各自的条款。仓库许可证。

README 仍将对展示特定动作的多个互联网视频进行联合关节分析，以及一个具有挑战性的动作视角合成示例标记为“即将推出”。通用 TODO 未提供详细时间表，因此这些仍是文档中记录的未完成项目，而不是有确定日期的交付承诺。本次评述读取了提交 e6006fd 及所链接的研究资料；并未报告新的捕捉实验。发布状态。

常见问题

我可以从一段普通的单人视频开始吗？

可以，系统提供了单目路径。它依赖初始化和人体先验，因此遮挡和不确定深度仍然是不同于经过标定的多视角捕捉的问题。

它会立即让我的现有角色动起来吗？

它主要生成骨架和 SMPL 系列参数。导出和针对特定角色的重定向是额外的集成步骤；拟合人体模型并不意味着已经建立了到每个角色骨骼绑定的映射。

我应该如何诊断糟糕的重建结果？

在调整人体拟合之前，检查相机标定和同步、2D 检测结果、跨视角身份以及重投影叠加结果。该工具箱公开了这些阶段，因此无需将上游对应错误误认为网格拟合问题。