PartBloom: भागों में बनाए गए 3D मॉडल

मुख्य बिंदु और परिणाम: एक छवि से अलग-अलग भागों तक

PartBloom एक ओपन-सोर्स फ्रेमवर्क है जो एकल छवि को अलग-अलग भागों वाले 3D मॉडल में बदलता है। इसका मूल विचार सरल है: एक LLM संरचना तैयार करता है, फिर TRELLIS विवरण जोड़ता है। भागों की योजना उनके कार्यों और सापेक्ष गति के आधार पर बनाई जाती है, जिससे वाहन की बॉडी और पहियों जैसे घटकों को अलग-अलग निर्यात किया जा सकता है। मोटे मॉडल का उद्देश्य खुले स्थानों और कनेक्शनों को बनाए रखना है, जिससे परिणाम को संपादित करना, बदलना और असेंबल करना आसान हो जाता है।

प्रोजेक्ट में एकल-छवि के 14 उदाहरण, जनरेशन और डीकंपोज़िशन की तुलनाएं, तथा रिग की गई एनीमेशन प्रस्तुतियां शामिल हैं। नीचे दिए गए दो चित्र समग्र विवरण और भागों की सीमाओं को दर्शाते हैं। ये गुणात्मक उदाहरण संभावनाएं दिखाते हैं, लेकिन अन्य विधियों पर लगातार श्रेष्ठता स्थापित नहीं करते। यह लेख README और सोर्स कोड पर आधारित है; हमने जनरेशन परीक्षण नहीं चलाए हैं।

यह कैसे काम करता है: योजना, परिशोधन और भाग डिकोडिंग

पहला चरण LLM की तीन भूमिकाओं का समन्वय करता है। Planner एक पार्ट ग्राफ तैयार करता है, जिसमें कार्यों, बाउंडिंग बॉक्स, पैरेंट–चाइल्ड संबंधों, कनेक्शन स्थानों और अपेक्षित गति का विवरण होता है। इसके बाद Builder साझा 64³ ग्रिड में प्रत्येक भाग के लिए बाइनरी वॉक्सेल मास्क को पॉलीगॉन, ब्रश, मूव और क्लियर टूल का उपयोग करके संपादित करता है। ब्लॉक्स से निर्माण करने की तरह, ये ऑपरेशन वास्तविक मोटी ज्यामिति तैयार करते हैं। Reviewer संदर्भ छवि की प्रॉक्सी के चार दृश्यों से तुलना करता है और अनुपात, अनुपस्थित भागों, कनेक्शनों तथा खुले स्थानों की जांच करता है। यह अधिकतम दो सुधार चक्र शुरू कर सकता है।

दूसरा चरण पहले से प्रशिक्षित TRELLIS वेट्स का पुनः उपयोग करता है। मोटे मॉडल के संयुक्त सतह-सपोर्ट निर्देशांकों को छह फेस-नेबर दिशाओं में एक सेल तक विस्तारित किया जाता है, फिर sparse-structure VAE द्वारा एक स्ट्रक्चर लेटेंट में एन्कोड किया जाता है। इस एन्कोडिंग को Gaussian noise के साथ मिलाने के बाद, फ्लो मॉडल डिफ़ॉल्ट रूप से 12 चरणों में t=0.65 से t=0 तक सैंपल करता है। इसे संदर्भ छवि द्वारा निर्देशित किया जाता है, जिसके बाद परिष्कृत संरचना को डिकोड किया जाता है। इसलिए प्रॉक्सी एक संपादन योग्य स्थानिक पूर्वधारणा प्रदान करती है, हालांकि परिशोधन के दौरान छोटे भाग हटाए जा सकते हैं।

दूरी-आधारित असाइनमेंट और कनेक्टेड रीजन ग्रोइंग, परिष्कृत संरचना में भागों के लेबल स्थानांतरित करते हैं। इसके बाद पाइपलाइन पूरे ऑब्जेक्ट के लिए एक साझा SLat सैंपल करती है: स्थानिक निर्देशांकों से जुड़े फीचर्स का एक सेट। ये अलग-अलग ऑपरेशन हैं—स्ट्रक्चर लेटेंट को प्रॉक्सी से आरंभ किया जाता है, जबकि विस्तृत SLat नए सिरे से जनरेट किया जाता है। डिफ़ॉल्ट parts मोड में, फीचर्स का चयन भाग के लेबल के आधार पर किया जाता है और उन्हें अलग-अलग मेश में डिकोड किया जाता है। joint मोड में, प्रत्येक भाग का मेश निकालने से पहले पूर्ण SLat को उच्च-रिज़ॉल्यूशन फीचर्स में डिकोड किया जाता है। साझा जनरेशन संदर्भ एकरूपता में सहायता करता है, लेकिन सही सीमों की गारंटी नहीं देता।

दिखावट प्रत्येक भाग के उसी SLat से लिए गए स्लाइस से Gaussian decoding, multi-view rendering और texture baking के माध्यम से प्राप्त होती है। आउटपुट में baked base color शामिल होता है और इसे पूर्ण PBR material set नहीं समझना चाहिए। डिलिवरेबल्स में planning और proxy data, स्वतंत्र meshes, textured per-part GLBs, assembled assembly_textured.glb, preview images और run logs शामिल हैं। ये सभी मिलकर निरीक्षण, संपादन और समस्या निवारण में सहायता करते हैं।

अनुप्रयोग और संभावनाएं: अलग-अलग भागों से उपयोगी एसेट तक

संभावित उपयोगों में एनीमेशन प्रोटोटाइपिंग, विस्फोटित उत्पाद दृश्य और असेंबली शिक्षा शामिल हैं। अलग-अलग मेश को skeletal animation के लिए अभी भी rigging की आवश्यकता होती है। भौतिक प्रिंटिंग के लिए tolerances, interfaces और wall thickness पर भी काम करना आवश्यक है। क्योंकि दिखाई न देने वाली ज्यामिति का अनुमान एकल छवि से लगाया जाता है, इसलिए आउटपुट को सटीक reverse engineering नहीं समझना चाहिए।

डिप्लॉयमेंट के लिए LLM API, CUDA environment, TRELLIS और DINOv2 weights तथा Blender 4.5 आवश्यक हैं। PartBloom repository MIT license का उपयोग करती है, लेकिन इसकी PhysX-Omni dependency S-Lab License 1.0 का उपयोग करती है, जो व्यावसायिक उपयोग को प्रतिबंधित करती है।

आधिकारिक रोडमैप में rigging और TRELLIS.2 पर स्थानांतरण शामिल हैं। आगे के शोध में multi-view constraints, connection checks और local regeneration का अध्ययन किया जा सकता है। part retention, seam quality, runtime और cost को मापने से यह स्थापित करने में सहायता मिलेगी कि यह दृष्टिकोण production workflows को कितनी विश्वसनीयता से समर्थन दे सकता है।

Sources: Repository and roadmap; Agent prompts; Refinement pipeline; Texture export.