可以从单个普通视频开始吗？

是的，提供了单目路线。由于依赖初始化和人体先验，遮挡和深度不确定性仍然与经过标定的多视角采集属于不同问题。

它会立即让我的现有角色动起来吗？

它主要生成骨架和 SMPL 系列参数。导出和针对特定角色的重定向是额外的集成步骤；拟合人体模型并不能建立到每个角色绑定的映射。

EasyMocap：基于 RGB 的无标记人体动作捕捉

Q: 如何诊断重建效果不佳的问题？

在调整人体拟合之前，检查相机标定与同步、2D 检测、跨视图身份以及重投影叠加层。该工具箱公开这些阶段，因此无需将上游对应错误误认为网格拟合问题。[](https://)

重点与结果

EasyMocap 是 ZJU3DV 的工具箱，用于从 RGB 视频中进行无标记人体动作捕捉。它结合姿态检测器、相机几何、跟踪和参数化人体模型，以恢复 3D 骨架与身体动作。它支持多种捕捉设置，包括经过标定的多相机录制、单目互联网视频和镜面辅助捕捉。对于动画与计算机视觉研究人员而言，其价值在于提供了一条可检查的处理流程，其中间检测、重建和拟合结果都可以分别进行核验。官方代码仓库。

该代码仓库展示了使用 SMPL、SMPL+H、SMPL-X 和 MANO 进行身体、手部与面部拟合，以及多人重建和相关新视角合成项目。其快速入门数据集包含来自 23 个同步、经过标定的摄像机的 800 帧画面。这些是具体演示，并不代表对每种支持模式都能提供统一的准确率保证。快速入门。

一项研究基础工作——Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views——报告了 Campus 上 96.3% 的 PCP，以及 Shelf 上 96.9% 的 PCP。PCP 衡量的是在这些基准测试协议下正确估计的人体部位比例。这些是该论文特定方法的结果，并不是当前 EasyMocap 代码版本或其单目路径的测量结果。

工作原理

标准的多视角路径从同步图像和相机标定开始，依次经过 2D 关键点检测、多人场景下的跨视角关联、三角测量得到的 3D 骨架、时间跟踪以及分阶段的人体模型拟合。主要编排入口会选择用于重建和拟合的配置文件；这是一个模块化的估计系统，针对不同捕捉条件提供不同路径。入口点。

对于单人场景，检测到的关节会携带置信度分数。相机投影矩阵将匹配的 2D 观测转换为 3D 关节估计。多视角演示会将这些估计重新投影到各个相机中，拒绝超过其重投影误差阈值的观测，然后再次进行三角测量。这种反馈机制使检测误差能够在拟合人体网格之前暴露出来。因此，标定与同步是决定重建质量的输入，而不是可有可无的润色步骤。单人重建。

多人场景会引入身份关联问题：不同相机中的检测结果必须对应同一个人。该研究论文将外观与极线证据结合起来，并使用循环一致的多路匹配。经过检查的 EasyMocap 演示则更为具体：其默认配置使用基于射线的几何亲和度和奇异值阈值匹配，随后进行关联与几何接受检查。在该配置中，至少需要三个支持视角。因此，不应将论文中完整的基于外观的方法默认为每个代码仓库预设都使用的方法。默认配置；亲和度实现。

拟合会将骨架测量结果转换为连贯的人体表面。经过检查的处理流程会根据四肢长度估计共享的身体形状，优化全局旋转和平移，然后优化身体姿态；如果所选模型支持，还会继续处理手部或面部表情。可选的 2D 阶段会进一步拟合重投影证据。加权关节损失、正则化和时间项会约束结果。这些是明确的人体模型参数，而不是将扩散潜变量去噪为动作。分阶段拟合。

相反，单目路径会将 2D 观测与 CNN 初始化和人体模型先验结合起来。由于没有可用于三角测量的同步相机视角，其深度歧义不同于多视角捕捉。输出包括逐帧 3D 关节 JSON，以及姿态、形状、全局旋转 Rh 和平移 Th 等人体参数。文档中的表示形式使用 V = R X(θ, β) + T；不应将 Rh 不加区分地复制到 SMPL-X 的 global_orient 字段中。输出约定。

应用、可用性与未来方向

EasyMocap 为动作分析、虚拟形象动画和人体重建提供了有用的研究起点。其捕捉输出不会自动成为带纹理的虚拟形象，也不会自动生成重定向到任意角色的动画。文档将 BVH 导出列为使用 Blender 和 SMPL 资源的独立步骤。在所检查的提交版本中，代码仓库的 Project Registration License 允许在无需注册的情况下进行研究、教育、评估和个人使用，而组织项目使用则需要注册；人体模型依赖项有各自的许可条款。代码仓库许可证。

README 仍将对展示特定动作的多段互联网视频进行联合关节分析，以及一个具有挑战性的动作新视角合成示例，标记为“即将推出”。通用 TODO 没有提供详细时间表，因此这些内容仍是文档中记录的未完成事项，而不是带日期的交付承诺。本次评述阅读了提交版本 e6006fd 及相关研究；它没有报告新的捕捉实验。发布状态。