EasyMocap: वीडियो को 3D मानव गति में बदलना

मुख्य बिंदु और परिणाम

EasyMocap RGB वीडियो से मार्कररहित मानव गति कैप्चर के लिए ZJU3DV का टूलबॉक्स है। यह 3D कंकालों और शरीर की गति को पुनर्प्राप्त करने के लिए मुद्रा डिटेक्टरों, कैमरा ज्यामिति, ट्रैकिंग और पैरामीट्रिक मानव मॉडलों को संयोजित करता है। यह कई कैप्चर सेटिंग्स का समर्थन करता है, जिनमें कैलिब्रेटेड मल्टी-कैमरा रिकॉर्डिंग, मोनोक्यूलर इंटरनेट वीडियो और मिरर-सहायित कैप्चर शामिल हैं। एनीमेशन और विज़न शोधकर्ताओं के लिए इसका मूल्य एक ऐसे निरीक्षण योग्य पाइपलाइन में है जिसके मध्यवर्ती डिटेक्शन, पुनर्निर्माण और फिटिंग परिणामों की अलग-अलग जाँच की जा सकती है। आधिकारिक रिपॉज़िटरी.

रिपॉज़िटरी SMPL, SMPL+H, SMPL-X और MANO के साथ शरीर, हाथ और चेहरे की फिटिंग के अलावा बहु-व्यक्ति पुनर्निर्माण और संबंधित novel-view-synthesis परियोजनाओं को प्रदर्शित करती है। इसके क्विक-स्टार्ट डेटासेट में 23 सिंक्रोनाइज़्ड, कैलिब्रेटेड कैमरों से लिए गए 800 फ़्रेम हैं। ये ठोस प्रदर्शन हैं, हर समर्थित मोड के लिए एकल सटीकता-गारंटी नहीं। क्विक स्टार्ट.

एक शोध-आधार, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, Campus पर 96.3% PCP और Shelf पर 96.9% PCP रिपोर्ट करता है। PCP उन बेंचमार्क प्रोटोकॉल के अंतर्गत सही ढंग से अनुमानित शरीर के हिस्सों को मापता है। ये उस शोध-पत्र की विशिष्ट विधि के परिणाम हैं, वर्तमान EasyMocap checkout या इसके मोनोक्यूलर पथ के माप नहीं।

यह कैसे काम करता है

मानक मल्टी-व्यू मार्ग सिंक्रोनाइज़्ड छवियों और कैमरा कैलिब्रेशन से 2D कीपॉइंट्स, कई लोगों की मौजूदगी में क्रॉस-व्यू एसोसिएशन, त्रिभुजित 3D कंकालों, अस्थायी ट्रैकिंग और चरणबद्ध शरीर-मॉडल फिटिंग तक आगे बढ़ता है। मुख्य ऑर्केस्ट्रेशन एंट्री पुनर्निर्माण और फिटिंग के लिए कॉन्फ़िगरेशन फ़ाइलें चुनती है; यह एक मॉड्यूलर अनुमान प्रणाली है, जिसमें अलग-अलग कैप्चर परिस्थितियों के लिए अलग मार्ग हैं। एंट्री पॉइंट.

एकल व्यक्ति के लिए, डिटेक्ट किए गए जोड़ों के साथ कॉन्फ़िडेंस स्कोर जुड़े होते हैं। कैमरा प्रोजेक्शन मैट्रिक्स मिलते-जुलते 2D अवलोकनों को 3D जोड़ अनुमान में बदलते हैं। मल्टी-व्यू डेमो उन अनुमानों को कैमरों में फिर से प्रोजेक्ट करता है, अपनी रीप्रोजेक्शन-त्रुटि सीमा से अधिक वाले अवलोकनों को अस्वीकार करता है और फिर से त्रिभुजीकरण करता है। यह फीडबैक शरीर का मेश फिट किए जाने से पहले डिटेक्शन त्रुटियों को दृश्यमान बनाता है। इसलिए कैलिब्रेशन और सिंक्रोनाइज़ेशन ऐसे इनपुट हैं जो पुनर्निर्माण की गुणवत्ता निर्धारित करते हैं, वैकल्पिक पॉलिशिंग चरण नहीं। एकल-व्यक्ति पुनर्निर्माण.

कई लोग एक पहचान-एसोसिएशन समस्या उत्पन्न करते हैं: अलग-अलग कैमरों में डिटेक्शन एक ही व्यक्ति से संबंधित होने चाहिए। शोध-पत्र appearance और epipolar साक्ष्य को cycle-consistent multi-way matching के साथ संयोजित करता है। निरीक्षित EasyMocap डेमो अधिक विशिष्ट है: इसका डिफ़ॉल्ट कॉन्फ़िगरेशन ray-based geometric affinity और singular-value-thresholding matching का उपयोग करता है, जिसके बाद एसोसिएशन और ज्यामितीय स्वीकृति जाँच होती हैं। उस कॉन्फ़िगरेशन में कम से कम तीन सहायक views आवश्यक हैं। इसलिए शोध-पत्र की पूरी appearance-based विधि को हर रिपॉज़िटरी preset के लिए चुपचाप आरोपित नहीं किया जाना चाहिए। डिफ़ॉल्ट कॉन्फ़िगरेशन; Affinity implementation.

फिटिंग कंकाल मापों को एक सुसंगत मानव सतह में बदलती है। निरीक्षित पाइपलाइन अंगों की लंबाइयों से साझा शरीर-आकार का अनुमान लगाती है, वैश्विक rotation और translation को optimize करती है, फिर body pose को, और चयनित मॉडल में समर्थन होने पर hands या facial expression को। एक वैकल्पिक 2D चरण रीप्रोजेक्शन साक्ष्य को आगे फिट करता है। भारित joint losses, regularization और temporal terms परिणाम को सीमित करते हैं। ये स्पष्ट human-model parameters हैं, न कि motion में denoise किया जा रहा diffusion latent। Staged fitting.

मोनोक्यूलर मार्ग इसके बजाय 2D अवलोकनों को CNN initialization और body-model priors के साथ संयोजित करता है। इसमें त्रिभुजीकरण के लिए एक साथ उपलब्ध कैमरा views नहीं होते, इसलिए इसकी depth ambiguity मल्टी-व्यू कैप्चर से अलग होती है। आउटपुट में प्रति-फ़्रेम 3D-joint JSON और poses, shape, global rotation Rh तथा translation Th जैसे body parameters शामिल हैं। दस्तावेज़ीकृत representation V = R X(θ, β) + T का उपयोग करता है; Rh को बिना जाँच SMPL-X के global_orient field में कॉपी नहीं किया जाना चाहिए। Output contract.

अनुप्रयोग, उपलब्धता और भविष्य की दिशाएँ

EasyMocap गति विश्लेषण, अवतार एनीमेशन और मानव पुनर्निर्माण के लिए एक उपयोगी शोध प्रारंभिक बिंदु प्रदान करता है। इसका कैप्चर आउटपुट अपने आप में textured avatar या किसी भी character के लिए retargeted animation नहीं होता। BVH export को Blender और SMPL assets का उपयोग करने वाले एक अलग चरण के रूप में दस्तावेज़ीकृत किया गया है। निरीक्षित commit में, रिपॉज़िटरी का Project Registration License research, educational, evaluation और personal use की अनुमति बिना registration के देता है, जबकि organizational project use के लिए registration आवश्यक है; body-model dependencies की अपनी शर्तें हैं। Repository license.

README अभी भी किसी विशिष्ट action को दिखाने वाले कई Internet videos के joint analysis और एक challenging-motion view-synthesis example को “coming soon” के रूप में चिह्नित करता है। सामान्य TODO कोई विस्तृत schedule नहीं देता, इसलिए ये dated delivery promises के बजाय documented unfinished items बने हुए हैं। यह review commit e6006fd और जुड़े शोध को पढ़ता है; यह कोई नया capture experiment रिपोर्ट नहीं करता। Release status.