EasyMocap: Převod videa na 3D pohyb člověka

Hlavní body a výsledky

EasyMocap je sada nástrojů ZJU3DV pro markerless zachycení lidského pohybu z videa RGB. Kombinuje detektory póz, geometrii kamer, sledování a parametrické modely člověka za účelem rekonstrukce 3D kosterních struktur a pohybu těla. Podporuje několik způsobů snímání včetně kalibrovaných záznamů z více kamer, monokulárních internetových videí a snímání s pomocí zrcadla. Pro výzkumníky v oblasti animace a počítačového vidění spočívá jeho hodnota v kontrolovatelném zpracovatelském řetězci, jehož mezilehlé detekce, rekonstrukci a výsledky fitování lze kontrolovat samostatně. Oficiální repozitář.

Repozitář demonstruje fitování těla, rukou a obličeje pomocí modelů SMPL, SMPL+H, SMPL-X a MANO spolu s rekonstrukcí více osob a souvisejícími projekty syntézy nových pohledů. Datová sada pro rychlý začátek obsahuje 800 snímků z 23 synchronizovaných a kalibrovaných kamer. Jde o konkrétní demonstrace, nikoli o jedinou záruku přesnosti pro každý podporovaný režim. Rychlý začátek.

Jeden z výzkumných základů, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, uvádí 96,3 % PCP na sadě Campus a 96,9 % na sadě Shelf. PCP měří správně odhadnuté části těla podle těchto benchmarkových protokolů. Jde o výsledky specifické metody daného článku, nikoli o měření současného checkoutu EasyMocap nebo jeho monokulární cesty.

Jak to funguje

Standardní cesta s více pohledy postupuje od synchronizovaných snímků a kalibrace kamer přes 2D klíčové body, přiřazení napříč pohledy v případě přítomnosti více osob, triangulované 3D kosterní struktury a časové sledování až k postupnému fitování modelu těla. Hlavní vstupní bod orchestrace vybírá konfigurační soubory pro rekonstrukci a fitování; jde o modulární odhadovací systém s různými cestami pro různé podmínky snímání. Vstupní bod.

U jedné osoby jsou detekované klouby opatřeny skóre spolehlivosti. Projekční matice kamer převádějí odpovídající 2D pozorování na odhady 3D kloubů. Demo s více pohledy promítá tyto odhady zpět do kamer, odmítá pozorování překračující práh chyby zpětné projekce a znovu provádí triangulaci. Tato zpětná vazba zviditelňuje chyby detekce před fitováním tělesného meshe. Kalibrace a synchronizace jsou proto vstupy, které určují kvalitu rekonstrukce, nikoli volitelné kroky pro dodatečné vylepšení. Rekonstrukce jedné osoby.

Více osob přináší problém přiřazení identity: detekce z různých kamer musí patřit téže osobě. Výzkumný článek kombinuje informace o vzhledu a epipolární informace s cyklicky konzistentním vícesměrným párováním. Kontrolované demo EasyMocap je konkrétnější: jeho výchozí konfigurace používá geometrickou afinitu založenou na paprscích a párování s prahováním singulárních hodnot, po němž následují kontroly přiřazení a geometrického přijetí. V této konfiguraci vyžaduje alespoň tři podpůrné pohledy. Úplná metoda založená na vzhledu z článku by proto neměla být bez upozornění připisována každému přednastavení repozitáře. Výchozí konfigurace; Implementace afinity.

Fitování převádí měření kosterní struktury na soudržný lidský povrch. Kontrolovaný zpracovatelský řetězec odhaduje společný tvar těla z délek končetin, optimalizuje globální rotaci a translaci a následně pózu těla, po kterých následují ruce nebo výrazy obličeje, pokud je vybraný model podporuje. Volitelná 2D fáze dále fituje údaje o zpětné projekci. Vážené ztráty kloubů, regularizace a časové členy výsledek omezují. Jde o explicitní parametry modelu člověka, nikoli o latentní reprezentaci difuzního modelu, která se odšumuje do pohybu. Postupné fitování.

Monokulární cesta místo toho kombinuje 2D pozorování s inicializací pomocí CNN a apriorními informacemi modelu těla. Nemá současné pohledy z více kamer pro triangulaci, takže její neurčitost hloubky se od snímání z více pohledů liší. Výstupy zahrnují JSON se 3D klouby pro jednotlivé snímky a parametry těla, jako jsou pózy, tvar, globální rotace Rh a translace Th. Dokumentovaná reprezentace používá V = R X(θ, β) + T; Rh by se nemělo bez rozmyslu kopírovat do pole SMPL-X global_orient. Výstupní kontrakt.

Aplikace, dostupnost a budoucí směry

EasyMocap poskytuje užitečný výzkumný výchozí bod pro analýzu pohybu, animaci avatarů a rekonstrukci člověka. Jeho výstup ze snímání není automaticky texturovaným avatarem ani animací retargetovanou na libovolnou postavu. Export do BVH je zdokumentován jako samostatný krok s využitím Blenderu a prostředků SMPL. V kontrolovaném commitu umožňuje Project Registration License repozitáře výzkumné, vzdělávací, evaluační a osobní použití bez registrace, zatímco použití v rámci organizačních projektů registraci vyžaduje; závislosti modelů těla mají vlastní podmínky. Licence repozitáře.

README stále označuje analýzu kloubů ve více internetových videích zobrazujících konkrétní akci a jeden příklad syntézy pohledu s náročným pohybem jako „coming soon“. Obecný TODO neposkytuje podrobný harmonogram, takže tyto položky zůstávají zdokumentovanými nedokončenými úkoly, nikoli přísliby dodání s konkrétním datem. Tato recenze vychází z commitu e6006fd a odkazovaného výzkumu; neuvádí výsledky nového experimentu se snímáním. Stav vydání.