EasyMocap: 동영상을 3D 인체 동작으로 변환

주요 내용 및 결과

EasyMocap 은 RGB 비디오에서 마커 없이 사람의 동작을 캡처하기 위한 ZJU3DV 의 도구 상자입니다. 포즈 검출기, 카메라 기하학, 추적 및 매개변수화된 사람 모델을 결합하여 3D 스켈레톤과 신체 동작을 복원합니다. 보정된 다중 카메라 녹화, 단안 인터넷 비디오, 미러 보조 캡처를 비롯한 여러 캡처 설정을 지원합니다. 애니메이션 및 비전 연구자에게 이 도구의 가치는 중간 검출 결과, 재구성 결과 및 피팅 결과를 별도로 확인할 수 있는 검사 가능한 파이프라인에 있습니다. 공식 저장소.

이 저장소는 SMPL, SMPL+H, SMPL-X 및 MANO 를 사용한 신체, 손, 얼굴 피팅과 다중 인물 재구성 및 관련 novel-view-synthesis 프로젝트를 보여 줍니다. 빠른 시작 데이터 세트에는 동기화되고 보정된 23개 카메라에서 얻은 800개 프레임이 포함되어 있습니다. 이는 지원되는 모든 모드에 대한 단일 정확도 보장이 아니라 구체적인 시연입니다. 빠른 시작.

한 연구 기반인 Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views은 Campus 에서 96.3% PCP, Shelf 에서 96.9% PCP 를 보고합니다. PCP 는 해당 벤치마크 프로토콜에서 올바르게 추정된 신체 부위를 측정합니다. 이 수치는 해당 논문의 특정 방법에 대한 결과이며, 현재 EasyMocap 체크아웃이나 단안 경로의 측정값이 아닙니다.

작동 방식

표준 다중 뷰 경로는 동기화된 이미지와 카메라 보정에서 시작하여 2D 키포인트, 여러 사람이 있을 때의 뷰 간 연관, 삼각 측량된 3D 스켈레톤, 시간적 추적, 단계별 신체 모델 피팅으로 이어집니다. 주요 오케스트레이션 진입점은 재구성 및 피팅을 위한 구성 파일을 선택합니다. 이는 캡처 조건에 따라 서로 다른 경로를 사용하는 모듈식 추정 시스템입니다. 진입점.

한 사람의 경우 검출된 관절에 신뢰도 점수가 부여됩니다. 카메라 투영 행렬은 일치하는 2D 관측값을 3D 관절 추정값으로 변환합니다. 다중 뷰 데모는 이러한 추정값을 카메라에 재투영하고, 재투영 오차 임계값을 초과하는 관측값을 제외한 다음 다시 삼각 측량합니다. 이 피드백을 통해 신체 메시를 피팅하기 전에 검출 오류를 확인할 수 있습니다. 따라서 보정과 동기화는 선택적인 마무리 단계가 아니라 재구성 품질을 결정하는 입력입니다. 단일 인물 재구성.

여러 사람이 등장하면 신원 연관 문제가 발생합니다. 서로 다른 카메라의 검출 결과가 동일한 사람에 속해야 하기 때문입니다. 이 연구 논문은 외형 및 에피폴라 증거를 순환 일관성을 갖는 다중 방향 매칭과 결합합니다. 검사한 EasyMocap 데모는 더 구체적입니다. 기본 구성은 광선 기반 기하학적 친화도와 특이값 임계값 지정 매칭을 사용한 다음 연관 및 기하학적 수용 검사를 수행합니다. 해당 구성에서는 최소 3개의 지원 뷰가 필요합니다. 따라서 논문의 전체 외형 기반 방법을 모든 저장소 프리셋에 암묵적으로 적용해서는 안 됩니다. 기본 구성; 친화도 구현.

피팅은 스켈레톤 측정값을 일관된 사람 표면으로 변환합니다. 검사한 파이프라인은 팔다리 길이에서 공유 신체 형상을 추정하고, 전역 회전 및 이동을 최적화한 다음 신체 포즈를 최적화하며, 선택한 모델이 지원하는 경우 손이나 얼굴 표정을 이어서 최적화합니다. 선택 사항인 2D 단계에서는 재투영 증거를 추가로 피팅합니다. 가중 관절 손실, 정규화 및 시간적 항이 결과를 제약합니다. 이는 동작으로 디노이즈되는 확산 잠재 변수가 아니라 명시적인 사람 모델 매개변수입니다. 단계별 피팅.

반면 단안 경로는 2D 관측값을 CNN 초기화 및 신체 모델 사전 정보와 결합합니다. 동시에 관측할 카메라 뷰가 없어 삼각 측량을 수행할 수 있으므로 깊이 모호성이 다중 뷰 캡처와 다릅니다. 출력에는 프레임별 3D 관절 JSON 과 포즈, 형상, 전역 회전 Rh 및 이동 Th 와 같은 신체 매개변수가 포함됩니다. 문서화된 표현은 V = R X(θ, β) + T 를 사용합니다. Rh 를 SMPL-X 의 global_orient 필드에 그대로 복사해서는 안 됩니다. 출력 계약.

애플리케이션, 사용 가능 여부 및 향후 방향

EasyMocap 은 동작 분석, 아바타 애니메이션 및 사람 재구성을 위한 유용한 연구 출발점을 제공합니다. 캡처 출력이 자동으로 텍스처가 적용된 아바타나 어떤 캐릭터에도 리타게팅된 애니메이션이 되는 것은 아닙니다. BVH 내보내기는 Blender 및 SMPL 자산을 사용하는 별도의 단계로 문서화되어 있습니다. 검사한 커밋에서 저장소의 Project Registration License 는 등록 없이 연구, 교육, 평가 및 개인적 사용을 허용하지만, 조직의 프로젝트 사용에는 등록이 필요합니다. 신체 모델 종속 항목에는 자체 약관이 적용됩니다. 저장소 라이선스.

README 는 특정 동작을 보여 주는 여러 인터넷 비디오의 관절 분석과 하나의 어려운 동작 뷰 합성 예제를 여전히 “coming soon”으로 표시합니다. 일반 TODO 에는 자세한 일정이 없으므로, 이는 날짜가 정해진 제공 약속이 아니라 문서화된 미완성 항목으로 남아 있습니다. 이 리뷰는 커밋 e6006fd 와 연결된 연구를 검토한 것이며, 새로운 캡처 실험을 보고하는 것이 아닙니다. 출시 상태.