CoDimRecon: विकृतिशील ज्यामिति के साथ सिमुलेशन-तैयार 3D दृश्यों का एजेंट-आधारित पुनर्निर्माण
CoDimRecon बहु-दृश्य RGB छवियों से संपादन योग्य इनडोर वातावरणों के पुनर्निर्माण की एक विधि है, जो सिमुलेशन के लिए तैयार कठोर वस्तुओं, जोड़दार भागों और विकृतनीय एसेट्स वाले आउटपुट तैयार करती है।
मूल शोधपत्र: CoDimRecon: विकृत वक्रों, सतहों और आयतनों के साथ सिमुलेशन-तैयार 3D दृश्यों का एजेंटिक पुनर्निर्माण
मुख्य बातें और परिणाम
CoDimRecon बहु-दृश्य RGB छवियों से एक संपादन योग्य आंतरिक वातावरण का पुनर्निर्माण करता है, जिसमें कमरे के भीतर कैमरा घुमाते समय कैप्चर किए गए फ़्रेम भी शामिल हैं। इसके आउटपुट में अलग-अलग कठोर ऑब्जेक्ट, जोड़ों वाले आर्टिकुलेटेड भाग और भौतिक सिमुलेशन के लिए तैयार किए गए विकृत होने योग्य एसेट शामिल होते हैं। इंटरैक्टिव 3D वातावरण बनाने वाले पाठकों के लिए, इसका केंद्रीय योगदान दृश्य पुनर्निर्माण को उन ज्यामितीय अभ्यावेदन और व्यवहार संबंधी जाँचों से जोड़ना है जिनकी सिमुलेशन को वास्तव में आवश्यकता होती है।
आधिकारिक प्रदर्शनों में खिंचता हुआ टेलीफ़ोन कॉर्ड, विकृत होती प्लास्टिक थैली, संपीड़ित होने वाला कुर्सी कुशन और सरकती हुई दराज़ शामिल हैं। तीन Replica और तीन ScanNet++ दृश्यों पर, लेखक क्रमशः 6.63 सेमी और 21.66 सेमी की Chamfer दूरियाँ रिपोर्ट करते हैं, जबकि HoloScene के लिए ये 6.79 सेमी और 27.15 सेमी हैं। हालाँकि, HoloScene इनपुट-दृश्य PSNR और SSIM में अधिक बेहतर रहता है। ये परिणाम संपादन योग्य ज्यामिति, भौतिक उपयोगिता और फोटोमेट्रिक निष्ठा के बीच समझौता दर्शाते हैं; वे सार्वभौमिक पुनर्निर्माण श्रेष्ठता स्थापित नहीं करते। विकृत होने योग्य इंटरैक्शन क्षमता-प्रदर्शन हैं, विभिन्न विधियों के बीच बेंचमार्क नहीं। प्रयोग।
यह कैसे काम करता है
वर्कफ़्लो के तीन चरण हैं: ज्यामितीय और जनरेट किए गए संदर्भों का उपयोग करके एक संपादन योग्य दृश्य बनाना; रूप-रंग, जोड़ों और कठोर-पिंड के स्थान को परिष्कृत करना; फिर सॉल्वर-संगत रूपों में विकृत होने योग्य वस्तुओं का पुनर्निर्माण करना और उनके व्यवहार का परीक्षण करना। यह किसी नए दृश्य जनरेटर को कार्य-विशिष्ट प्रशिक्षण दिए बिना प्रीट्रेन्ड परसेप्शन, जनरेशन, एक एजेंट, Blender और सिमुलेटरों का समन्वय करता है। आधिकारिक विधि अवलोकन।
पहले, VGGT-Omega लेआउट और आयामों को आधार देने के लिए कैमरा पैरामीटर, गहराई और पॉइंट मैप प्रदान करता है। CropFormer ऑब्जेक्ट मास्क निकालता है, जिन्हें बैक-प्रोजेक्ट करके विभिन्न दृश्यों में 3D इंस्टेंस ट्रैक्स में क्लस्टर किया जाता है। SAM3D प्रत्येक ट्रैक के लिए एक संदर्भ मेश जनरेट करता है; REST3D छोटे छूटे हुए ऑब्जेक्टों को पुनर्प्राप्त करने में सहायता करता है। एजेंट इन मेशों का आकार-संदर्भों के रूप में उपयोग करता है और Blender प्रिमिटिव्स तथा मॉडिफ़ायरों से फ़र्नीचर का पुनर्निर्माण करता है। इससे संक्षिप्त, संपादन योग्य ज्यामिति बनती है और गतिशील घटक सामने आते हैं, बजाय इसके कि हर जनरेट किए गए मेश को अंतिम एसेट के रूप में स्वीकार कर लिया जाए। पुनर्निर्माण।
इसके बाद, एक रेंडर–मूल्यांकन–परिष्करण लूप निर्मित दृश्य की उसके इनपुट दृश्यों के साथ तुलना करता है। प्रति-चैनल द्विघात रंग संरेखण, c′ = ac² + bc + d, त्रुटियों का निदान करने में सहायता करता है: पर्याप्त सुधार प्रकाश या सामग्री के असंगत होने का संकेत देता है; बहुत कम सुधार ज्यामिति या मुद्रा की ओर संकेत करता है। एजेंट स्पष्ट जोड़ जोड़ता है और MuJoCo में वस्तुओं को गुरुत्वाकर्षण के अधीन स्थिर करता है, फिर उनके स्थिर स्थानों को वापस दृश्य में लिखता है। दृश्य परिष्करण।
इसके बाद विकृत होने योग्य वस्तुएँ अलग-अलग एजेंट सत्रों में प्रवेश करती हैं। रॉड सिमुलेशन के लिए केबल एक सतत केंद्ररेखा और त्रिज्या बन जाती है; शेल सिमुलेशन के लिए कपड़ा या कागज़ एक मैनिफ़ोल्ड मध्य-सतह और मोटाई बन जाता है; टेट्राहेड्रल मेशिंग के लिए कुशन एक बंद ठोस बन जाता है। उच्च-रिज़ॉल्यूशन ठोस सरल सिमुलेशन प्रॉक्सी से बंध सकते हैं। पुनःप्रयोग योग्य सिमुलेटर स्किल्स IPC-फ़ैमिली बैकएंड पर संघटक मॉडलों और संपर्क सेटिंग्स को आरंभ करते हैं। ज्यामिति विविक्तीकरण निर्धारित करती है, जबकि व्यवहार यह निर्धारित करता है कि चुना गया सामग्री मॉडल पर्याप्त है या नहीं। विकृत होने योग्य पुनर्निर्माण।
अंततः, एजेंट नैदानिक रोबोट इंटरैक्शनों की योजना बनाता है और संख्यात्मक वैधता तथा कार्य-व्यवहार दोनों की जाँच करता है। असफल परीक्षण एक निश्चित क्रम में संशोधनों को ट्रिगर करते हैं: गति, ज्यामिति, संख्यात्मक सेटिंग्स, फिर सामग्री मॉडल। कागज़ मोड़ने के परीक्षण में, लोचदार बेंडिंग संख्यात्मक रूप से वैध रहती है, लेकिन वापस अपनी अवस्था में आ जाती है। उसी ग्रिपर प्रक्षेप-पथ के तहत, प्लास्टिक हिंज रिलीज़ के एक सेकंड बाद चरम मोड़ कोण का 92.5% बनाए रखते हैं, जबकि लोचदार बेंडिंग के साथ यह 3.7% रहता है। इसलिए यह परीक्षण केवल यह नहीं जाँचता कि सिमुलेशन बिना क्रैश हुए चलता है या नहीं। नियंत्रित मोड़ प्रयोग।
अनुप्रयोग, उपलब्धता और भविष्य की दिशाएँ
प्रदर्शित आउटपुट रोबोट-इंटरैक्शन प्रयोगों और संपादन योग्य सिमुलेशन वातावरणों के लिए प्रासंगिक हैं; यह शोधपत्र गेमिंग और इमर्सिव सामग्री निर्माण को भी प्रेरित करता है। इनके भौतिक पैरामीटर मान्य मॉडलों के अंतर्गत प्रभावी सेटिंग्स हैं, वास्तविक गतिशीलता से पुनर्प्राप्त किए गए मापन नहीं। 6 नवंबर 2026 को जाँच के समय, आधिकारिक प्रोजेक्ट पृष्ठ अभी भी “Code Soon” कहता है; कोड-स्तरीय सत्यापन के लिए वहाँ कोई लिंक किया गया कार्यान्वयन उपलब्ध नहीं था। शोधपत्र भविष्य के कार्यों का कोई स्पष्ट रोडमैप प्रदान नहीं करता। घोषित ठोस अगला कदम कोड जारी करना है, जिसकी कोई समय-सारणी नहीं बताई गई है। यह लेख शोधपत्र और आधिकारिक सामग्रियों पर आधारित है, सिस्टम को दोबारा चलाए बिना। प्रोजेक्ट और प्रदर्शन।
अक्सर पूछे जाने वाले प्रश्न
क्या यह एक तस्वीर से एक पूरा कमरा फिर से बना सकता है?
मूल्यांकन किया गया वर्कफ़्लो बहु-दृश्य RGB अवलोकनों का उपयोग करता है। एकल फ़ोटोग्राफ़ इस कार्य द्वारा प्रदर्शित इनपुट व्यवस्था नहीं है।
केबल और कुशन अलग-अलग निरूपण का उपयोग क्यों करते हैं?
उनकी यांत्रिकी के लिए अलग-अलग विविक्तीकरण आवश्यक होते हैं। रॉड पतली केंद्ररेखाओं, शेल पतली सतहों और ठोस परिमित तत्व आयतन का निरूपण करते हैं; इससे प्रत्येक विकृत वस्तु को घने जाल वाले ठोस के रूप में मानने से बचा जाता है।
क्या इसके रोबोट परीक्षण पास करने का मतलब है कि असली सामग्री की पहचान हो गई?
नहीं। परीक्षण निर्दिष्ट सिम्युलेटेड इंटरैक्शन के साथ संगतता स्थापित करते हैं। मापी गई वास्तविक गतिशीलता के बिना, स्वीकृत कठोरता, घनत्व और संपर्क सेटिंग्स प्रभावी सिमुलेशन पैरामीटर बनी रहती हैं।
