EasyMocap: Przekształcanie wideo w trójwymiarowy ruch człowieka

Najważniejsze informacje i wyniki

EasyMocap to zestaw narzędzi ZJU3DV do bezmarkerowego przechwytywania ruchu człowieka z nagrań wideo RGB. Łączy detektory pozy, geometrię kamer, śledzenie i parametryczne modele człowieka w celu odtwarzania szkieletów 3D oraz ruchu ciała. Obsługuje kilka ustawień przechwytywania, w tym skalibrowane nagrania z wielu kamer, jednooczne nagrania internetowe i przechwytywanie wspomagane lustrem. Dla badaczy animacji i wizji komputerowej jego wartość stanowi możliwy do przeanalizowania potok, którego pośrednie detekcje, wyniki rekonstrukcji i dopasowania można sprawdzać osobno. Oficjalne repozytorium.

Repozytorium demonstruje dopasowywanie ciała, dłoni i twarzy z użyciem SMPL, SMPL+H, SMPL-X i MANO, a także rekonstrukcję wielu osób oraz powiązane projekty syntezy nowych widoków. Zestaw danych szybkiego startu zawiera 800 klatek z 23 zsynchronizowanych, skalibrowanych kamer. Są to konkretne demonstracje, a nie pojedyncza gwarancja dokładności dla każdego obsługiwanego trybu. Szybki start.

Jedna z podstaw badawczych, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, podaje 96,3% PCP dla zbioru Campus i 96,9% dla zbioru Shelf. PCP mierzy prawidłowo oszacowane części ciała w ramach tych protokołów testowych. Są to wyniki konkretnej metody opisanej w tej pracy, a nie pomiary bieżącej wersji EasyMocap ani jej ścieżki jednoocznej.

Jak to działa

Standardowa ścieżka wielowidokowa prowadzi od zsynchronizowanych obrazów i kalibracji kamer przez punkty kluczowe 2D, powiązanie między widokami, gdy obecnych jest kilka osób, triangulowane szkielety 3D, śledzenie czasowe i etapowe dopasowywanie modelu ciała. Główny punkt koordynacji wybiera pliki konfiguracyjne do rekonstrukcji i dopasowania; jest to modułowy system estymacji z różnymi ścieżkami dla różnych warunków przechwytywania. Punkt wejścia.

W przypadku jednej osoby wykryte stawy mają przypisane wyniki pewności. Macierze projekcji kamer przekształcają dopasowane obserwacje 2D w oszacowania stawów 3D. Demo wielowidokowe ponownie rzutuje te oszacowania na kamery, odrzuca obserwacje przekraczające próg błędu reprojekcji i ponownie wykonuje triangulację. To sprzężenie zwrotne uwidacznia błędy detekcji, zanim zostanie dopasowana siatka ciała. Kalibracja i synchronizacja są zatem danymi wejściowymi określającymi jakość rekonstrukcji, a nie opcjonalnymi etapami dopracowania. Rekonstrukcja jednej osoby.

Wiele osób wprowadza problem powiązania tożsamości: detekcje z różnych kamer muszą należeć do tej samej osoby. Artykuł badawczy łączy informacje o wyglądzie i geometrii epipolarnej z dopasowaniem wielokierunkowym spójnym cyklicznie. Przeanalizowane demo EasyMocap jest bardziej szczegółowe: jego domyślna konfiguracja wykorzystuje podobieństwo geometryczne oparte na promieniach oraz dopasowanie z progowaniem wartości osobliwych, a następnie powiązanie i sprawdzanie akceptacji geometrycznej. W tej konfiguracji wymaga co najmniej trzech wspierających widoków. Dlatego pełnej metody opartej na wyglądzie z artykułu nie należy bez dodatkowego wyjaśnienia przypisywać każdemu ustawieniu repozytorium. Domyślna konfiguracja; Implementacja podobieństwa.

Dopasowanie przekształca pomiary szkieletu w spójną powierzchnię człowieka. Przeanalizowany potok szacuje wspólny kształt ciała na podstawie długości kończyn, optymalizuje globalny obrót i translację, następnie pozę ciała, a później dłonie lub ekspresję twarzy, gdy wybrany model je obsługuje. Opcjonalny etap 2D dodatkowo dopasowuje dane reprojekcji. Wynik ograniczają ważone funkcje straty stawów, regularyzacja i składniki czasowe. Są to jawne parametry modelu człowieka, a nie ukryta zmienna dyfuzyjna odszumiana do postaci ruchu. Etapowe dopasowanie.

Ścieżka jednooczna zamiast tego łączy obserwacje 2D z inicjalizacją CNN i wcześniejszą wiedzą o modelu ciała. Nie ma jednoczesnych widoków z kamer do triangulacji, dlatego jej niejednoznaczność głębi różni się od przechwytywania wielowidokowego. Wyniki obejmują pliki JSON z punktami stawów 3D dla poszczególnych klatek oraz parametry ciała, takie jak pozy, kształt, globalny obrót Rh i translacja Th. Udokumentowana reprezentacja wykorzystuje V = R X(θ, β) + T; Rh nie należy bezpośrednio kopiować do pola global_orient w SMPL-X. Kontrakt wyjściowy.

Zastosowania, dostępność i dalsze kierunki

EasyMocap stanowi użyteczny punkt wyjścia do badań nad analizą ruchu, animacją awatarów i rekonstrukcją człowieka. Jego wynik przechwytywania nie jest automatycznie teksturowanym awatarem ani animacją przeniesioną na dowolną postać. Eksport BVH jest udokumentowany jako osobny etap z użyciem Blendera i zasobów SMPL. W przeanalizowanym zatwierdzeniu licencja Project Registration License repozytorium zezwala na użytkowanie badawcze, edukacyjne, ewaluacyjne i osobiste bez rejestracji, podczas gdy użycie projektu przez organizacje wymaga rejestracji; zależności modeli ciała mają własne warunki. Licencja repozytorium.

README nadal oznacza analizę stawów wielu internetowych nagrań przedstawiających konkretne działanie oraz jeden przykład syntezy widoku dla trudnego ruchu jako „coming soon”. Ogólne TODO nie podaje szczegółowego harmonogramu, więc pozostają one udokumentowanymi niedokończonymi elementami, a nie obietnicami dostarczenia w określonym terminie. Ten przegląd dotyczy zatwierdzenia e6006fd i powiązanych badań; nie przedstawia wyników nowego eksperymentu przechwytywania. Stan wydania.