EasyMocap: Mengubah Video menjadi Gerakan Manusia 3D

Sorotan dan Hasil

EasyMocap adalah perangkat bantu ZJU3DV untuk menangkap gerakan manusia tanpa marker dari video RGB. Perangkat ini menggabungkan detektor pose, geometri kamera, pelacakan, dan model manusia parametrik untuk memulihkan kerangka 3D dan gerakan tubuh. Perangkat ini mendukung beberapa pengaturan penangkapan, termasuk rekaman multikamera yang telah dikalibrasi, video Internet monokuler, dan penangkapan berbantuan cermin. Bagi peneliti animasi dan visi komputer, nilainya terletak pada pipeline yang dapat diperiksa, dengan deteksi perantara, rekonstruksi, dan hasil fitting yang dapat diperiksa secara terpisah. Repositori resmi.

Repositori ini mendemonstrasikan fitting tubuh, tangan, dan wajah dengan SMPL, SMPL+H, SMPL-X, dan MANO, bersama rekonstruksi multipersona serta proyek sintesis tampilan baru terkait. Dataset quick-start-nya berisi 800 frame dari 23 kamera tersinkronisasi dan terkalibrasi. Ini adalah demonstrasi konkret, bukan jaminan akurasi tunggal untuk setiap mode yang didukung. Quick start.

Salah satu landasan penelitian, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, melaporkan PCP sebesar 96.3% pada Campus dan 96.9% pada Shelf. PCP mengukur bagian tubuh yang diestimasi dengan benar berdasarkan protokol benchmark tersebut. Hasil ini berasal dari metode khusus dalam makalah tersebut, bukan pengukuran dari checkout EasyMocap saat ini atau jalur monokulernya.

Cara Kerjanya

Rute multiview standar dimulai dari gambar tersinkronisasi dan kalibrasi kamera, lalu berlanjut ke keypoint 2D, asosiasi lintas tampilan ketika terdapat beberapa orang, kerangka 3D hasil triangulasi, pelacakan temporal, dan fitting model tubuh bertahap. Entri orkestrasi utama memilih file konfigurasi untuk rekonstruksi dan fitting; ini adalah sistem estimasi modular, dengan rute berbeda untuk kondisi penangkapan yang berbeda. Titik masuk.

Untuk satu orang, sendi yang terdeteksi memiliki skor kepercayaan. Matriks proyeksi kamera mengubah pengamatan 2D yang cocok menjadi estimasi sendi 3D. Demo multiview memproyeksikan ulang estimasi tersebut ke kamera, menolak pengamatan yang melebihi ambang kesalahan reproyeksi, lalu melakukan triangulasi ulang. Umpan balik ini membuat kesalahan deteksi terlihat sebelum mesh tubuh difitting. Oleh karena itu, kalibrasi dan sinkronisasi merupakan input yang menentukan kualitas rekonstruksi, bukan langkah pemolesan opsional. Rekonstruksi satu orang.

Beberapa orang menimbulkan masalah asosiasi identitas: deteksi dari kamera yang berbeda harus merujuk pada orang yang sama. Makalah penelitian tersebut menggabungkan bukti penampilan dan epipolar dengan pencocokan multi-arah yang konsisten terhadap siklus. Demo EasyMocap yang diperiksa lebih spesifik: konfigurasi bawaannya menggunakan afinitas geometris berbasis sinar dan pencocokan dengan ambang nilai singular, diikuti pemeriksaan asosiasi dan penerimaan geometris. Dalam konfigurasi tersebut, setidaknya diperlukan tiga tampilan pendukung. Jadi, metode lengkap berbasis penampilan dari makalah tersebut tidak boleh secara implisit dianggap digunakan oleh setiap preset repositori. Konfigurasi bawaan; Implementasi afinitas.

Fitting mengubah pengukuran kerangka menjadi permukaan manusia yang koheren. Pipeline yang diperiksa mengestimasi bentuk tubuh bersama dari panjang anggota tubuh, mengoptimalkan rotasi dan translasi global, lalu pose tubuh, diikuti tangan atau ekspresi wajah jika model yang dipilih mendukungnya. Tahap 2D opsional selanjutnya melakukan fitting terhadap bukti reproyeksi. Loss sendi berbobot, regularisasi, dan suku temporal membatasi hasilnya. Semua ini adalah parameter model manusia yang eksplisit, bukan latent difusi yang didenoise menjadi gerakan. Fitting bertahap.

Sebaliknya, rute monokuler menggabungkan pengamatan 2D dengan inisialisasi CNN dan prior model tubuh. Rute ini tidak memiliki tampilan kamera simultan untuk melakukan triangulasi, sehingga ambiguitas kedalamannya berbeda dari penangkapan multiview. Output-nya mencakup JSON sendi 3D per frame dan parameter tubuh seperti pose, bentuk, rotasi global Rh, dan translasi Th. Representasi yang didokumentasikan menggunakan V = R X(θ, β) + T; Rh tidak boleh disalin begitu saja ke field global_orient milik SMPL-X. Kontrak output.

Aplikasi, Ketersediaan, dan Arah Masa Depan

EasyMocap menyediakan titik awal penelitian yang berguna untuk analisis gerakan, animasi avatar, dan rekonstruksi manusia. Output penangkapannya tidak secara otomatis menjadi avatar bertekstur atau animasi yang diretargatkan ke karakter apa pun. Ekspor BVH didokumentasikan sebagai langkah terpisah menggunakan Blender dan aset SMPL. Pada commit yang diperiksa, Project Registration License repositori mengizinkan penggunaan untuk penelitian, pendidikan, evaluasi, dan pribadi tanpa registrasi, sedangkan penggunaan proyek organisasi memerlukan registrasi; dependensi model tubuh memiliki ketentuannya sendiri. Lisensi repositori.

README masih menandai analisis sendi dari beberapa video Internet yang menampilkan aksi tertentu, serta satu contoh sintesis tampilan gerakan menantang, sebagai “segera hadir”. TODO umum tidak memberikan jadwal terperinci, sehingga hal-hal ini tetap merupakan item yang didokumentasikan sebagai belum selesai, bukan janji pengiriman bertanggal. Tinjauan ini membaca commit e6006fd dan penelitian yang ditautkan; tinjauan ini tidak melaporkan eksperimen penangkapan baru. Status rilis.