EasyMocap: Menukarkan Video kepada Pergerakan Manusia 3D

Sorotan dan Hasil

EasyMocap ialah kotak alat ZJU3DV untuk menangkap gerakan manusia tanpa penanda daripada video RGB. Ia menggabungkan pengesan pose, geometri kamera, penjejakan dan model manusia berparameter untuk mendapatkan semula rangka 3D serta gerakan badan. Ia menyokong beberapa tetapan tangkapan, termasuk rakaman berbilang kamera yang ditentukur, video Internet monokular dan tangkapan berbantukan cermin. Bagi penyelidik animasi dan penglihatan komputer, nilainya terletak pada saluran paip yang boleh diperiksa, dengan pengesanan perantaraan, pembinaan semula dan hasil pemadanan boleh disemak secara berasingan. Repositori rasmi.

Repositori ini menunjukkan pemadanan badan, tangan dan muka dengan SMPL, SMPL+H, SMPL-X dan MANO, bersama-sama pembinaan semula berbilang orang serta projek sintesis pandangan baharu yang berkaitan. Set data mula pantasnya mengandungi 800 bingkai daripada 23 kamera yang disegerakkan dan ditentukur. Ini ialah demonstrasi konkrit, bukannya satu jaminan ketepatan untuk setiap mod yang disokong. Mula pantas.

Salah satu asas penyelidikan, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, melaporkan PCP sebanyak 96.3% di Campus dan 96.9% di Shelf. PCP mengukur bahagian badan yang dianggar dengan betul di bawah protokol penanda aras tersebut. Ini ialah hasil kaedah khusus makalah itu, bukannya ukuran bagi checkout EasyMocap semasa atau laluannya secara monokular.

Cara Ia Berfungsi

Laluan berbilang pandangan standard bermula daripada imej yang disegerakkan dan penentukuran kamera, kemudian beralih kepada titik kunci 2D, perkaitan merentas pandangan apabila terdapat beberapa orang, rangka 3D yang ditriangulasi, penjejakan temporal dan pemadanan model badan secara berperingkat. Entri penyelarasan utama memilih fail konfigurasi untuk pembinaan semula dan pemadanan; ini ialah sistem anggaran modular, dengan laluan berbeza untuk keadaan tangkapan yang berbeza. Titik entri.

Bagi seorang individu, sendi yang dikesan membawa skor keyakinan. Matriks unjuran kamera menukarkan pemerhatian 2D yang sepadan kepada anggaran sendi 3D. Demo berbilang pandangan mengunjurkan semula anggaran tersebut ke dalam kamera, menolak pemerhatian yang melebihi ambang ralat unjuran semula dan melakukan triangulasi sekali lagi. Maklum balas ini menjadikan ralat pengesanan kelihatan sebelum jejaring badan dipadankan. Oleh itu, penentukuran dan penyegerakan ialah input yang menentukan kualiti pembinaan semula, bukannya langkah penggilapan pilihan. Pembinaan semula seorang individu.

Pelbagai individu memperkenalkan masalah perkaitan identiti: pengesanan dalam kamera yang berbeza mesti dimiliki oleh individu yang sama. Makalah penyelidikan tersebut menggabungkan bukti penampilan dan epipolar dengan pemadanan berbilang arah yang konsisten kitaran. Demo EasyMocap yang diperiksa adalah lebih khusus: konfigurasi lalainya menggunakan keafinan geometri berasaskan sinar dan pemadanan ambang nilai singular, diikuti pemeriksaan perkaitan dan penerimaan geometri. Ia memerlukan sekurang-kurangnya tiga pandangan sokongan dalam konfigurasi tersebut. Oleh itu, kaedah penuh berasaskan penampilan daripada makalah itu tidak sepatutnya dikaitkan secara senyap kepada setiap pratetap repositori. Konfigurasi lalai; Pelaksanaan keafinan.

Pemadanan menukarkan ukuran rangka kepada permukaan manusia yang koheren. Saluran paip yang diperiksa menganggar bentuk badan dikongsi daripada panjang anggota, mengoptimumkan putaran dan translasi global, kemudian pose badan, diikuti tangan atau ekspresi muka apabila model yang dipilih menyokongnya. Peringkat 2D pilihan seterusnya memadankan bukti unjuran semula. Kehilangan sendi berwajaran, regularisasi dan istilah temporal mengehadkan hasilnya. Ini ialah parameter model manusia yang jelas, bukannya laten difusi yang dinyahbisingkan menjadi gerakan. Pemadanan berperingkat.

Laluan monokular pula menggabungkan pemerhatian 2D dengan pemulaan CNN dan keutamaan model badan. Ia tidak mempunyai pandangan kamera serentak untuk melakukan triangulasi, maka kekaburan kedalamannya berbeza daripada tangkapan berbilang pandangan. Outputnya termasuk JSON sendi 3D bagi setiap bingkai dan parameter badan seperti pose, bentuk, putaran global Rh serta translasi Th. Perwakilan yang didokumenkan menggunakan V = R X(θ, β) + T; Rh tidak sepatutnya disalin secara membuta tuli ke dalam medan global\_orient SMPL-X. Kontrak output.

Aplikasi, Ketersediaan dan Hala Tuju Masa Hadapan

EasyMocap menyediakan titik permulaan penyelidikan yang berguna untuk analisis gerakan, animasi avatar dan pembinaan semula manusia. Output tangkapannya bukan avatar bertekstur atau animasi yang dipetakan semula secara automatik kepada mana-mana watak. Eksport BVH didokumenkan sebagai langkah berasingan menggunakan Blender dan aset SMPL. Pada komit yang diperiksa, Lesen Projek repositori membenarkan penggunaan penyelidikan, pendidikan, penilaian dan peribadi tanpa pendaftaran, manakala penggunaan projek organisasi memerlukan pendaftaran; kebergantungan model badan mempunyai syarat tersendiri. Lesen repositori.

README masih melabelkan analisis sendi bagi berbilang video Internet yang menunjukkan tindakan tertentu, serta satu contoh sintesis pandangan gerakan mencabar, sebagai “akan datang”. TODO generik tidak memberikan jadual terperinci, maka perkara ini kekal sebagai item belum selesai yang didokumenkan dan bukannya janji penghantaran bertarikh. Ulasan ini membaca komit e6006fd dan penyelidikan yang dipautkan; ia tidak melaporkan eksperimen tangkapan baharu. Status keluaran.