EasyMocap: Ginagawang 3D na Galaw ng Tao ang Video

Mga Tampok at Resulta

Ang EasyMocap ay toolbox ng ZJU3DV para sa markerless na human motion capture mula sa RGB video. Pinagsasama nito ang mga pose detector, camera geometry, tracking, at parametric human model upang mabawi ang mga 3D skeleton at galaw ng katawan. Sinusuportahan nito ang ilang setting ng capture, kabilang ang mga naka-calibrate na multi-camera recording, monocular na Internet video, at capture na tinutulungan ng salamin. Para sa mga mananaliksik sa animation at computer vision, ang halaga nito ay nasa isang pipeline na maaaring siyasatin, kung saan maaaring suriin nang magkahiwalay ang mga intermediate detection, reconstruction, at fitting result. Opisyal na repository.

Ipinapakita ng repository ang body, hand, at face fitting gamit ang SMPL, SMPL+H, SMPL-X, at MANO, kasama ang multi-person reconstruction at mga kaugnay na proyekto sa novel-view synthesis. Ang quick-start dataset nito ay naglalaman ng 800 frame mula sa 23 magkakasabay at naka-calibrate na camera. Mga konkretong demonstrasyon ang mga ito, hindi iisang garantiya ng accuracy para sa bawat suportadong mode. Quick start.

Isang pundasyon sa pananaliksik, ang Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, ay nag-uulat ng 96.3% PCP sa Campus at 96.9% sa Shelf. Sinusukat ng PCP ang mga bahagi ng katawan na wastong natantiya sa ilalim ng mga benchmark protocol na iyon. Mga resulta ito ng partikular na pamamaraan ng papel na iyon, hindi mga sukat ng kasalukuyang EasyMocap checkout o ng monocular path nito.

Paano Ito Gumagana

Ang standard na multi-view route ay nagsisimula sa magkakasabay na larawan at camera calibration, patungo sa mga 2D keypoint, cross-view association kapag maraming tao ang naroroon, triangulated 3D skeleton, temporal tracking, at sunod-sunod na body-model fitting. Pinipili ng pangunahing orchestration entry ang mga configuration file para sa reconstruction at fitting; isa itong modular na estimation system, na may magkakaibang route para sa magkakaibang kondisyon ng capture. Entry point.

Para sa isang tao, may confidence score ang mga natukoy na joint. Ginagamit ng mga camera projection matrix ang magkakatugmang 2D observation upang tantiyahin ang mga 3D joint. Ipinoproyekta muli ng multi-view demo ang mga tantiyang ito sa mga camera, tinatanggihan ang mga observation na lumalampas sa reprojection-error threshold nito, at muling nagsasagawa ng triangulation. Ginagawang nakikita ng feedback na ito ang mga error sa detection bago i-fit ang body mesh. Samakatuwid, ang calibration at synchronization ay mga input na tumutukoy sa kalidad ng reconstruction, hindi opsyonal na mga hakbang sa pagpapakinis. Single-person reconstruction.

Nagpapakilala ang maraming tao ng problema sa identity association: dapat kabilang sa iisang tao ang mga detection mula sa magkakaibang camera. Pinagsasama ng research paper ang appearance at epipolar evidence sa cycle-consistent multi-way matching. Mas partikular ang sinuring EasyMocap demo: gumagamit ang default configuration nito ng ray-based geometric affinity at singular-value-thresholding matching, na sinusundan ng association at mga geometric acceptance check. Nangangailangan ito ng hindi bababa sa tatlong sumusuportang view sa configuration na iyon. Kaya hindi dapat basta iugnay sa bawat repository preset ang buong appearance-based na pamamaraan ng papel. Default configuration; Affinity implementation.

Ginagawang magkakaugnay na surface ng tao ng fitting ang mga sukat ng skeleton. Tinatantiya ng sinuring pipeline ang magkakaparehong body shape mula sa haba ng mga biyas, ino-optimize ang global rotation at translation, pagkatapos ay ang body pose, na sinusundan ng mga kamay o facial expression kapag sinusuportahan ito ng napiling model. Maaaring gumamit ng opsyonal na 2D stage upang higit pang i-fit ang reprojection evidence. Pinipigilan ng weighted joint loss, regularization, at temporal term ang resulta. Mga tahasang human-model parameter ang mga ito, hindi diffusion latent na dini-denoise upang maging galaw. Staged fitting.

Sa halip, pinagsasama ng monocular route ang mga 2D observation sa CNN initialization at body-model prior. Wala itong magkakasabay na camera view na maaaring gamitin sa triangulation, kaya naiiba ang depth ambiguity nito sa multi-view capture. Kabilang sa output ang per-frame 3D-joint JSON at mga body parameter gaya ng pose, shape, global rotation Rh, at translation Th. Ginagamit ng dokumentadong representation ang V = R X(θ, β) + T; hindi dapat basta kopyahin ang Rh sa SMPL-X global_orient field. Output contract.

Mga Application, Availability, at Mga Direksiyong Hinaharap

Nagbibigay ang EasyMocap ng kapaki-pakinabang na panimulang punto sa pananaliksik para sa motion analysis, avatar animation, at human reconstruction. Hindi awtomatikong nagiging textured avatar o animation na na-retarget sa anumang character ang capture output nito. Nakadokumento ang BVH export bilang hiwalay na hakbang gamit ang Blender at mga SMPL asset. Sa sinuring commit, pinahihintulutan ng Project Registration License ng repository ang research, educational, evaluation, at personal use nang walang registration, habang nangangailangan ng registration ang paggamit ng organisasyon sa proyekto; may sarili ring mga tuntunin ang mga body-model dependency. Repository license.

Minamarkahan pa rin ng README bilang “coming soon” ang joint analysis ng maraming Internet video na nagpapakita ng isang partikular na aksyon, at isang novel-view-synthesis example para sa challenging motion. Walang detalyadong schedule ang generic TODO, kaya nananatiling dokumentadong hindi pa tapos na mga item ang mga ito sa halip na mga pangakong may tiyak na petsa ng delivery. Binabasa ng review na ito ang commit e6006fd at ang mga naka-link na research; hindi ito nag-uulat ng bagong capture experiment. Release status.