EasyMocap: Videos in menschliche 3D-Bewegungen umwandeln

Höhepunkte und Ergebnisse

EasyMocap ist die Toolbox von ZJU3DV für markerloses Erfassen menschlicher Bewegungen aus RGB-Videos. Sie kombiniert Posendetektoren, Kamerageometrie, Tracking und parametrische menschliche Modelle, um 3D-Skelette und Körperbewegungen zu rekonstruieren. Sie unterstützt mehrere Aufnahmeszenarien, darunter kalibrierte Aufnahmen mit mehreren Kameras, monokulare Internetvideos und spiegelunterstützte Aufnahmen. Für Forschende in den Bereichen Animation und Computer Vision liegt ihr Wert in einer überprüfbaren Pipeline, deren Zwischendetektionen, Rekonstruktion und Fitting-Ergebnisse separat kontrolliert werden können. Offizielles Repository.

Das Repository demonstriert das Fitting von Körper, Händen und Gesicht mit SMPL, SMPL+H, SMPL-X und MANO sowie die Rekonstruktion mehrerer Personen und verwandte Projekte zur Synthese neuartiger Ansichten. Das Schnellstart-Dataset enthält 800 Frames aus 23 synchronisierten, kalibrierten Kameras. Dies sind konkrete Demonstrationen und keine einzelne Genauigkeitsgarantie für jeden unterstützten Modus. Schnellstart.

Eine Forschungsgrundlage, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, berichtet 96,3 % PCP auf Campus und 96,9 % auf Shelf. PCP misst unter diesen Benchmark-Protokollen die korrekt geschätzten Körperteile. Dies sind Ergebnisse der spezifischen Methode dieses Papers und keine Messungen des vorliegenden EasyMocap-Checkouts oder seines monokularen Pfads.

So funktioniert es

Der standardmäßige Mehrkamera-Pfad geht von synchronisierten Bildern und Kamerakalibrierung über 2D-Schlüsselpunkte, die kamerübergreifende Zuordnung bei mehreren Personen, triangulierte 3D-Skelette und zeitliches Tracking bis zum stufenweisen Fitting des Körpermodells. Der zentrale Orchestrierungseinstieg wählt Konfigurationsdateien für Rekonstruktion und Fitting aus; dies ist ein modulares Schätzsystem mit unterschiedlichen Pfaden für unterschiedliche Aufnahmebedingungen. Einstiegspunkt.

Bei einer einzelnen Person weisen erkannte Gelenke Konfidenzwerte auf. Kameraprojektionsmatrizen wandeln übereinstimmende 2D-Beobachtungen in 3D-Gelenkschätzungen um. Die Mehrkamera-Demo projiziert diese Schätzungen zurück in die Kameras, verwirft Beobachtungen, die ihren Schwellenwert für den Reprojektionsfehler überschreiten, und trianguliert erneut. Dieses Feedback macht Detektionsfehler sichtbar, bevor ein Körpermesh angepasst wird. Kalibrierung und Synchronisierung sind daher Eingaben, die die Rekonstruktionsqualität bestimmen, und keine optionalen Polierschritte. Rekonstruktion einer einzelnen Person.

Mehrere Personen führen zu einem Problem der Identitätszuordnung: Detektionen in verschiedenen Kameras müssen derselben Person zugeordnet werden. Das Forschungspaper kombiniert Erscheinungsbild- und epipolare Informationen mit zykluskonsistentem Multi-Way-Matching. Die untersuchte EasyMocap-Demo ist spezifischer: Ihre Standardkonfiguration verwendet ray-basierte geometrische Affinität und Singularwert-Schwellenwert-Matching, gefolgt von Zuordnungs- und geometrischen Akzeptanzprüfungen. In dieser Konfiguration sind mindestens drei unterstützende Ansichten erforderlich. Daher sollte die vollständige erscheinungsbildbasierte Methode des Papers nicht stillschweigend jedem Repository-Preset zugeschrieben werden. Standardkonfiguration; Affinitätsimplementierung.

Beim Fitting werden Skelettmessungen in eine kohärente menschliche Oberfläche umgewandelt. Die untersuchte Pipeline schätzt zunächst die gemeinsame Körperform anhand von Gliedmaßenlängen, optimiert die globale Rotation und Translation, anschließend die Körperpose und danach Hände oder Gesichtsausdrücke, sofern das ausgewählte Modell diese unterstützt. Eine optionale 2D-Phase passt zusätzlich Reprojektionsinformationen an. Gewichtete Gelenkverluste, Regularisierung und zeitliche Terme schränken das Ergebnis ein. Dies sind explizite Parameter des menschlichen Modells und kein Diffusions-Latent, das durch Entrauschen in Bewegung umgewandelt wird. Stufenweises Fitting.

Der monokulare Pfad kombiniert stattdessen 2D-Beobachtungen mit CNN-Initialisierung und Priors des Körpermodells. Es gibt keine simultanen Kameraansichten zur Triangulation, daher unterscheidet sich seine Tiefenambiguität von der Mehrkamera-Aufnahme. Zu den Ausgaben gehören 3D-Gelenk-JSONs pro Frame und Körperparameter wie Posen, Form, globale Rotation Rh und Translation Th. Die dokumentierte Darstellung verwendet V = R X(θ, β) + T; Rh sollte nicht unkritisch in das Feld global_orient von SMPL-X kopiert werden. Ausgabevertrag.

Anwendungen, Verfügbarkeit und zukünftige Richtungen

EasyMocap bietet einen nützlichen Forschungsstartpunkt für Bewegungsanalyse, Avatar-Animation und menschliche Rekonstruktion. Seine Aufnahmedaten sind nicht automatisch ein texturierter Avatar oder eine auf einen beliebigen Charakter retargetierte Animation. Der BVH-Export ist als separater Schritt mit Blender und SMPL-Assets dokumentiert. Zum untersuchten Commit erlaubt die Project Registration License des Repositorys Forschung, Bildung, Evaluierung und persönliche Nutzung ohne Registrierung, während die Nutzung in organisatorischen Projekten eine Registrierung erfordert; Abhängigkeiten der Körpermodelle haben eigene Bedingungen. Repository-Lizenz.

Die README kennzeichnet die Gelenkanalyse mehrerer Internetvideos mit einer bestimmten Handlung sowie ein Beispiel zur Ansichtssynthese für anspruchsvolle Bewegungen weiterhin als „coming soon“. Das allgemeine TODO enthält keinen detaillierten Zeitplan, daher bleiben diese Punkte dokumentierte unfertige Aufgaben und keine termingebundenen Lieferzusagen. Diese Untersuchung bezieht sich auf Commit e6006fd und die verknüpfte Forschung; sie berichtet kein neues Aufnahmeexperiment. Release-Status.