EasyMocap: Video omzetten in 3D-bewegingen van mensen

Hoogtepunten en resultaten

EasyMocap is de toolbox van ZJU3DV voor markerloze menselijke bewegingsregistratie uit RGB-video. De toolbox combineert pose-detectoren, camerageometrie, tracking en parametrische menselijke modellen om 3D-skeletten en lichaamsbewegingen te reconstrueren. De toolbox ondersteunt verschillende registratie-instellingen, waaronder gekalibreerde opnamen met meerdere camera's, monoculaire internetvideo's en spiegelondersteunde registratie. Voor onderzoekers in animatie en computervisie ligt de waarde in een inspecteerbare pipeline waarvan de tussenliggende detecties, reconstructie en fittingresultaten afzonderlijk kunnen worden gecontroleerd. Officiële repository.

De repository demonstreert fitting van lichaam, handen en gezicht met SMPL, SMPL+H, SMPL-X en MANO, naast reconstructie van meerdere personen en gerelateerde projecten voor novel-view synthesis. De quick-startdataset bevat 800 frames van 23 gesynchroniseerde, gekalibreerde camera's. Dit zijn concrete demonstraties en geen enkele nauwkeurigheidsgarantie voor elke ondersteunde modus. Snel aan de slag.

Een wetenschappelijke basis, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, rapporteert 96,3% PCP op Campus en 96,9% op Shelf. PCP meet lichaamsdelen die volgens die benchmarkprotocollen correct zijn geschat. Dit zijn resultaten van de specifieke methode uit dat artikel, geen metingen van de huidige EasyMocap-checkout of de monoculaire route.

Hoe het werkt

De standaardroute voor meerdere weergaven loopt van gesynchroniseerde beelden en camerakalibratie via 2D-keypoints, associatie tussen weergaven wanneer meerdere personen aanwezig zijn, getrianguleerde 3D-skeletten en temporele tracking naar gefaseerde fitting van het lichaamsmodel. Het belangrijkste orkestratie-ingangspunt selecteert configuratiebestanden voor reconstructie en fitting; dit is een modulair schattingssysteem met verschillende routes voor verschillende registratieomstandigheden. Ingangspunt.

Bij één persoon hebben gedetecteerde gewrichten betrouwbaarheidsscores. Cameraprojectiematrices zetten overeenkomende 2D-waarnemingen om in schattingen van 3D-gewrichten. De demo voor meerdere weergaven projecteert die schattingen opnieuw in de camera's, verwerpt waarnemingen die de drempel voor reprojectionfouten overschrijden en trianguleert opnieuw. Deze feedback maakt detectiefouten zichtbaar voordat een lichaamsmesh wordt gefit. Kalibratie en synchronisatie zijn daarom invoer die de reconstructiekwaliteit bepalen, en geen optionele verfijningsstappen. Reconstructie van één persoon.

Meerdere personen introduceren een probleem met identiteitsassociatie: detecties in verschillende camera's moeten bij dezelfde persoon horen. Het onderzoeksartikel combineert verschijningsinformatie en epipolaire informatie met cyclusconsistente matching over meerdere richtingen. De geïnspecteerde EasyMocap-demo is specifieker: de standaardconfiguratie gebruikt ray-gebaseerde geometrische affiniteit en matching met singular-value thresholding, gevolgd door associatie en geometrische acceptatiecontroles. In die configuratie zijn minimaal drie ondersteunende weergaven vereist. De volledige verschijningsgebaseerde methode uit het artikel mag dus niet stilzwijgend aan elke repositorypreset worden toegeschreven. Standaardconfiguratie; Implementatie van affiniteit.

Fitting zet skeletmetingen om in een coherent menselijk oppervlak. De geïnspecteerde pipeline schat de gedeelde lichaamsvorm op basis van ledemaatlengtes, optimaliseert de globale rotatie en translatie, daarna de lichaams­pose en vervolgens de handen of gezichtsuitdrukking wanneer het geselecteerde model dit ondersteunt. Een optionele 2D-fase fit aanvullend bewijs uit reprojection. Gewogen gewrichtsverliezen, regularisatie en temporele termen begrenzen het resultaat. Dit zijn expliciete parameters van het menselijke model, en geen diffusion-latent die tot beweging wordt gedenoised. Gefaseerde fitting.

De monoculaire route combineert daarentegen 2D-waarnemingen met CNN-initialisatie en priors van het lichaamsmodel. Er zijn geen gelijktijdige camerabeelden om te trianguleren, dus de diepteambiguïteit verschilt van registratie met meerdere camera's. De uitvoer omvat 3D-gewrichts-JSON per frame en lichaamsparameters zoals poses, vorm, globale rotatie Rh en translatie Th. De gedocumenteerde representatie gebruikt V = R X(θ, β) + T; Rh mag niet blindelings worden gekopieerd naar het veld global_orient van SMPL-X. Uitvoercontract.

Toepassingen, beschikbaarheid en toekomstige richtingen

EasyMocap biedt een nuttig onderzoeksstartpunt voor bewegingsanalyse, avataranimatie en menselijke reconstructie. De uitvoer van de registratie is niet automatisch een avatar met textuur of een animatie die naar een willekeurig personage is geretarget. BVH-export wordt gedocumenteerd als een afzonderlijke stap met Blender en SMPL-assets. In de geïnspecteerde commit staat in de Project Registration License van de repository dat onderzoek, educatief gebruik, evaluatie en persoonlijk gebruik zonder registratie zijn toegestaan, terwijl organisatorisch projectgebruik registratie vereist; afhankelijkheden van lichaamsmodellen hebben hun eigen voorwaarden. Repositorylicentie.

De README vermeldt het analyseren van gewrichten in meerdere internetvideo's die een specifieke actie tonen, evenals één voorbeeld van view synthesis met uitdagende beweging, nog steeds als “binnenkort beschikbaar”. De algemene TODO bevat geen gedetailleerde planning, dus dit blijven gedocumenteerde onafgeronde onderdelen en geen gedateerde leveringsbeloften. Deze beoordeling leest commit e6006fd en het gekoppelde onderzoek; er wordt geen nieuw registratie-experiment gerapporteerd. Releasestatus.