EasyMocap: Omvandla video till mänskliga 3D-rörelser

Höjdpunkter och resultat

EasyMocap är ZJU3DV:s verktygslåda för markörlös registrering av mänskliga rörelser från RGB-video. Den kombinerar posdetektorer, kamerageometri, spårning och parametriska människomodeller för att återskapa 3D-skelett och kroppsrörelser. Den stöder flera registreringsförhållanden, däribland kalibrerade inspelningar med flera kameror, monokulära Internetvideor och spegelassisterad registrering. För forskare inom animation och datorseende ligger värdet i en inspekterbar pipeline där mellanliggande detektioner, rekonstruktion och passningsresultat kan granskas separat. Officiellt arkiv.

Arkivet demonstrerar passning av kropp, händer och ansikte med SMPL, SMPL+H, SMPL-X och MANO, tillsammans med rekonstruktion av flera personer och relaterade projekt för syntes av nya vyer. Datasetet för snabbstart innehåller 800 bildrutor från 23 synkroniserade, kalibrerade kameror. Detta är konkreta demonstrationer snarare än en enda noggrannhetsgaranti för varje stödd funktion. Snabbstart.

En forskningsgrund, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, rapporterar 96,3 % PCP på Campus och 96,9 % på Shelf. PCP mäter korrekt skattade kroppsdelar enligt dessa benchmarkprotokoll. Detta är resultat från den specifika metoden i artikeln, inte mätningar av den aktuella EasyMocap-versionen eller dess monokulära väg.

Så fungerar det

Den vanliga vägen för flera vyer går från synkroniserade bilder och kamerakalibrering till 2D-nyckelpunkter, association mellan vyer när flera personer finns med, triangulerade 3D-skelett, temporal spårning och stegvis passning av kroppmodellen. Huvudingången för orkestrering väljer konfigurationsfiler för rekonstruktion och passning; detta är ett modulärt skattningssystem med olika vägar för olika registreringsförhållanden. Ingångspunkt.

För en enskild person har detekterade leder konfidensvärden. Kamerans projektionsmatriser omvandlar matchande 2D-observationer till skattningar av 3D-leder. Demonstrationen för flera vyer projicerar dessa skattningar tillbaka till kamerorna, avvisar observationer som överskrider dess tröskel för reprojektionsfel och triangulerar på nytt. Denna återkoppling gör det möjligt att upptäcka detektionsfel innan en kroppsmask passas. Kalibrering och synkronisering är därför indata som avgör rekonstruktionskvaliteten, inte valfria finputsningar. Rekonstruktion av en enskild person.

Flera personer introducerar ett problem med identitetsassociation: detektioner från olika kameror måste tillhöra samma person. Forskningsartikeln kombinerar information om utseende och epipolär geometri med cykelkonsistent matchning mellan flera vyer. Den inspekterade EasyMocap-demonstrationen är mer specifik: dess standardkonfiguration använder strålbaserad geometrisk affinitet och matchning med tröskling av singulärvärden, följt av association och geometriska acceptanskontroller. Den kräver minst tre stödjande vyer i denna konfiguration. Därför bör artikelns fullständiga utseendebaserade metod inte i tysthet tillskrivas varje förinställning i arkivet. Standardkonfiguration; Implementering av affinitet.

Passning omvandlar skelettmätningar till en sammanhängande mänsklig yta. Den inspekterade pipelinen skattar gemensam kroppsform från lemlängder, optimerar global rotation och translation, därefter kroppens pose, följt av händer eller ansiktsuttryck när den valda modellen stöder detta. Ett valfritt 2D-steg passar dessutom reprojektionsinformation. Viktade ledförluster, regularisering och temporala termer begränsar resultatet. Detta är explicita parametrar för en människomodell, snarare än en diffusionslatent som avbrusas till rörelse. Stegvis passning.

Den monokulära vägen kombinerar i stället 2D-observationer med CNN-initiering och priorer för kroppmodellen. Den har inga samtidiga kameravyer att triangulera, så dess djupoklarhet skiljer sig från registrering med flera vyer. Utdata innehåller 3D-leders JSON-data per bildruta och kroppsparametrar som poser, form, global rotation Rh och translation Th. Den dokumenterade representationen använder V = R X(θ, β) + T; Rh ska inte kopieras blint till SMPL-X-fältet global_orient. Utdataavtal.

Tillämpningar, tillgänglighet och framtida riktningar

EasyMocap erbjuder en användbar forskningsstartpunkt för rörelseanalys, avataranimation och mänsklig rekonstruktion. Dess registreringsutdata är inte automatiskt en texturerad avatar eller en animation som har retargeterats till valfri figur. BVH-export dokumenteras som ett separat steg med Blender och SMPL-tillgångar. Vid den inspekterade versionen tillåter arkivets Project Registration License forskning, utbildning, utvärdering och privat användning utan registrering, medan användning i organisatoriska projekt kräver registrering; beroenden för kroppmodeller har egna villkor. Arkivets licens.

README-filen märker fortfarande ledanalys av flera Internetvideor som visar en specifik handling, samt ett exempel på syntes av nya vyer för utmanande rörelser, som ”kommer snart”. Den generiska TODO-listan ger inget detaljerat schema, så detta förblir dokumenterade ofärdiga delar snarare än daterade leveranslöften. Denna granskning läser commit e6006fd och den länkade forskningen; den rapporterar inte ett nytt registreringsexperiment. Versionsstatus.