EasyMocap: Videoyu 3D İnsan Hareketine Dönüştürme

Öne Çıkanlar ve Sonuçlar

EasyMocap, RGB videodan işaretsiz insan hareketi yakalama için ZJU3DV’nin araç kutusudur. Poz dedektörlerini, kamera geometrisini, izlemeyi ve parametrik insan modellerini bir araya getirerek 3B iskeletleri ve vücut hareketini çıkarır. Kalibre edilmiş çok kameralı kayıtlar, tek kameralı İnternet videoları ve ayna destekli yakalama dahil olmak üzere çeşitli yakalama ayarlarını destekler. Animasyon ve bilgisayarlı görü araştırmacıları için değeri, ara tespitlerin, rekonstrüksiyonun ve uydurma sonuçlarının ayrı ayrı incelenebildiği denetlenebilir bir işlem hattı sunmasıdır. Resmî depo.

Depo, çok kişili rekonstrüksiyon ve ilgili yeni görünüm sentezi projelerinin yanı sıra SMPL, SMPL+H, SMPL-X ve MANO ile vücut, el ve yüz uydurmayı gösterir. Hızlı başlangıç veri kümesi, 23 senkronize ve kalibre edilmiş kameradan alınan 800 kare içerir. Bunlar, desteklenen her kip için tek bir doğruluk garantisinden ziyade somut gösterimlerdir. Hızlı başlangıç.

Bir araştırma temeli olan Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, Campus'ta %96,3 ve Shelf'te %96,9 PCP bildirir. PCP, bu kıyaslama protokolleri kapsamında doğru tahmin edilen vücut bölümlerini ölçer. Bunlar, söz konusu makalenin özgül yöntemine ait sonuçlardır; mevcut EasyMocap checkout'unun veya tek kameralı yolunun ölçümleri değildir.

Nasıl Çalışır

Standart çok görünümlü yol, senkronize görüntüler ve kamera kalibrasyonundan 2B kilit noktalarına, birden fazla kişi bulunduğunda görünümler arası eşleştirmeye, üçgenlenmiş 3B iskeletlere, zamansal izlemeye ve aşamalı vücut modeli uydurmaya ilerler. Ana orkestrasyon giriş noktası, rekonstrüksiyon ve uydurma için yapılandırma dosyalarını seçer; bu, farklı yakalama koşulları için farklı yolları olan modüler bir kestirim sistemidir. Giriş noktası.

Tek bir kişi için tespit edilen eklemler güven skorları taşır. Kamera projeksiyon matrisleri, eşleşen 2B gözlemleri 3B eklem tahminlerine dönüştürür. Çok görünümlü demo, bu tahminleri kameralara yeniden yansıtır, yeniden yansıtma hatası eşiğini aşan gözlemleri reddeder ve yeniden üçgenleme yapar. Bu geri bildirim, bir vücut ağı uydurulmadan önce tespit hatalarını görünür kılar. Bu nedenle kalibrasyon ve senkronizasyon, isteğe bağlı son rötuşlar değil, rekonstrüksiyon kalitesini belirleyen girdilerdir. Tek kişilik rekonstrüksiyon.

Birden fazla kişi, kimlik eşleştirme sorunu doğurur: farklı kameralardaki tespitler aynı kişiye ait olmalıdır. Araştırma makalesi, görünüş ve epipolar kanıtı döngü tutarlı çok yönlü eşleştirmeyle birleştirir. İncelenen EasyMocap demosu ise daha özeldir: varsayılan yapılandırması, ilişkilendirme ve geometrik kabul kontrollerinin ardından ışın tabanlı geometrik yakınlık ve tekil değer eşiklemeli eşleştirme kullanır. Bu yapılandırmada en az üç destekleyici görünüm gerekir. Dolayısıyla makalenin tam görünüş tabanlı yöntemi, her depo ön ayarına sessizce atfedilmemelidir. Varsayılan yapılandırma; Yakınlık uygulaması.

Uydurma, iskelet ölçümlerini tutarlı bir insan yüzeyine dönüştürür. İncelenen işlem hattı, uzuv uzunluklarından ortak vücut şeklini tahmin eder, küresel dönüş ve ötelemeyi, ardından vücut pozunu ve seçilen model bunları destekliyorsa elleri veya yüz ifadesini optimize eder. İsteğe bağlı bir 2B aşama, yeniden yansıtma kanıtına daha fazla uydurma yapar. Ağırlıklı eklem kayıpları, düzenlileştirme ve zamansal terimler sonucu sınırlar. Bunlar, hareketi gürültüsü giderilen bir difüzyon gizil temsili yerine açık insan modeli parametreleridir. Aşamalı uydurma.

Tek kameralı yol ise 2B gözlemleri CNN başlatması ve vücut modeli öncülleriyle birleştirir. Üçgenleme için eşzamanlı kamera görünümleri bulunmadığından derinlik belirsizliği çok görünümlü yakalamadan farklıdır. Çıktılar, kare başına 3B eklem JSON'u ve pozlar, şekil, küresel dönüş Rh ve öteleme Th gibi vücut parametrelerini içerir. Belgelenen gösterim V = R X(θ, β) + T kullanır; Rh, SMPL-X'in global_orient alanına doğrudan kopyalanmamalıdır. Çıktı sözleşmesi.

Uygulamalar, Kullanılabilirlik ve Gelecek Yönelimleri

EasyMocap, hareket analizi, avatar animasyonu ve insan rekonstrüksiyonu için yararlı bir araştırma başlangıç noktası sunar. Yakalama çıktısı otomatik olarak dokulu bir avatar veya herhangi bir karaktere yeniden hedeflenmiş bir animasyon değildir. BVH dışa aktarımı, Blender ve SMPL varlıkları kullanılarak ayrı bir adım olarak belgelenmiştir. İncelenen işlem kaydında, deponun Project Registration License lisansı araştırma, eğitim, değerlendirme ve kişisel kullanıma kayıt olmadan izin verirken kuruluşların proje kullanımı kayıt gerektirir; vücut modeli bağımlılıklarının kendi koşulları vardır. Depo lisansı.

README hâlâ belirli bir hareketi gösteren birden fazla İnternet videosunun ortak eklem analizini ve zorlu hareketlere ilişkin bir görünüm sentezi örneğini “yakında” olarak etiketlemektedir. Genel TODO ayrıntılı bir takvim sağlamadığından bunlar, tarih verilmiş teslimat vaatlerinden ziyade belgelenmiş tamamlanmamış öğeler olarak kalır. Bu inceleme e6006fd commit'ini ve bağlantılı araştırmayı okur; yeni bir yakalama deneyi bildirmez. Yayın durumu.