UltraTex: 3D टेक्सचरिंग के लिए 2K मल्टी-व्यू डिफ्यूज़न का अनावरण

मुख्य बातें और परिणाम: अधिक विवरण, कम व्यर्थ कंप्यूट

मूल शोधपत्र: ​UltraTex: 3D टेक्सचरिंग के लिए 2K मल्टी-व्यू डिफ्यूज़न को सक्षम बनाना

UltraTex एक संदर्भ छवि का उपयोग करके मौजूदा 3D मेश के लिए विस्तृत टेक्सचर तैयार करता है। SIGGRAPH Asia 2026 परियोजना के रूप में प्रस्तुत यह एक सामान्य बाधा का समाधान करता है: 512 या 768 रिज़ॉल्यूशन पर मल्टी-व्यू टेक्सचरिंग में बारीक पैटर्न और सतह का विवरण खो जाता है। UltraTex ऑब्जेक्ट के अग्रभूमि पर कंप्यूटेशन केंद्रित करके जेनरेट किए गए व्यूज़ को 2048 × 2048 तक बढ़ाता है। इसका मुख्य योगदान टोकन प्रोसेसिंग, अटेंशन और डिकोडिंग में समन्वित बदलावों के माध्यम से हाई-रिज़ॉल्यूशन मल्टी-व्यू डिफ्यूज़न को व्यावहारिक बनाना है। आधिकारिक परियोजना.

100 अलग रखी गई TexVerse ऑब्जेक्ट्स पर, UltraTex ​0.082 का अनशेडेड LPIPS बनाम LumiTex का 0.138​ रिपोर्ट करता है, जहाँ कम मान बेहतर अवधारणात्मक समानता दर्शाता है। एकल H200 पर, लेखक 20% अटेंशन-ब्लॉक रिटेंशन के साथ 10–30% अग्रभूमि ऑक्यूपेंसी के लिए डेंस बेसलाइन की तुलना में 20.6–91.1× ट्रेनिंग और 22.3–74.6× इन्फरेंस स्पीडअप रिपोर्ट करते हैं। ये कॉन्फ़िगरेशन-निर्भर परिणाम हैं, हर एसेट या संपूर्ण प्रोडक्शन वर्कफ़्लो के लिए निश्चित एक्सेलेरेशन नहीं। शोधपत्र, प्रयोग.

यह कैसे काम करता है: संदर्भ छवि से टेक्सचरयुक्त सतह तक

पाइपलाइन पहले इनपुट मेश से छह नॉर्मल मैप रेंडर करती है: चार साइड व्यूज़, एक टॉप व्यू और एक बॉटम व्यू। एक VAE ज्योमेट्री गाइडेंस और संदर्भ छवि को लैटेंट्स में एन्कोड करता है। एक प्रीट्रेन्ड FLUX डिफ्यूज़न ट्रांसफ़ॉर्मर फ्लो मैचिंग के माध्यम से छह संबंधित टेक्सचर व्यूज़ जेनरेट करता है; शोधपत्र की पूरी पाइपलाइन उन्हें मेश पर रीप्रोजेक्ट करती है। 2K पर, छह लक्ष्य व्यूज़, छह ज्योमेट्री व्यूज़ और एक संदर्भ मिलकर ​212,992 इमेज टोकन​ प्रदान करते हैं, जिससे स्पष्ट होता है कि डेंस प्रोसेसिंग महँगी क्यों हो जाती है। पाइपलाइन; टोकन-लागत का स्पष्टीकरण.

बैकग्राउंड टोकन ड्रॉपिंग ट्रांसफ़ॉर्मर ब्लॉक्स से पहले ऑब्जेक्ट के बाहर के इमेज टोकन हटा देता है। मास्क रखे गए पोज़िशन की पहचान करते हैं, जबकि संबंधित मूल रोटरी पोज़िशनल एम्बेडिंग (RoPE) जुड़ी रहती हैं। स्थानिक निर्देशांकों को खोए बिना सीक्वेंस छोटा हो जाता है। इससे फ़ीड-फ़ॉरवर्ड लेयर्स सहित पूरे बैकबोन में काम कम होता है। जारी किए गए सैम्पलर में, Euler अपडेट केवल चुनी गई अग्रभूमि पोज़िशन को संशोधित करते हैं; डिकोडिंग की तैयारी तक बैकग्राउंड नॉइज़ अपरिवर्तित रहता है। टोकन चयन; सैम्पलिंग इम्प्लीमेंटेशन.

ब्लॉक-स्पार्स अटेंशन शेष टोकनों के बीच इंटरैक्शन की लागत कम करता है। इम्प्लीमेंटेशन ब्लॉक्स के भीतर क्वेरी और की फ़ीचर्स का औसत निकालता है, उनकी प्रासंगिकता का अनुमान लगाता है और प्रत्येक क्वेरी ब्लॉक के लिए सबसे अधिक स्कोर वाले की ब्लॉक्स चुनता है। इसके बाद अटेंशन उन चुने गए ब्लॉक्स के भीतर मूल टोकन फ़ीचर्स का उपयोग करता है। FLUX.1 कॉन्फ़िगरेशन की ब्लॉक्स में से 20% कीज़ रखता है: यह इमेज रिज़ॉल्यूशन घटाए बिना कई इंटरैक्शन से बचता है। ब्लॉक चयन; अटेंशन कॉन्फ़िगरेशन.

अग्रभूमि-जागरूक ​VAE​​ डिकोडिंग बैकग्राउंड डिनॉइज़िंग छोड़ने के परिणाम को संबोधित करती है। साफ़ अग्रभूमि को शोरयुक्त बैकग्राउंड के साथ मिलाने से रिकंस्ट्रक्शन दूषित हो सकता है। UltraTex बैकग्राउंड को ठोस काली छवि से एन्कोड किए गए लैटेंट से बदलता है, फिर इस कंपोज़िट के लिए अनुकूलित डिकोडर का उपयोग करता है। एन्कोडर फ़्रीज़ रहता है; डिकोडर ट्रेनिंग केवल अग्रभूमि पिक्सेल पर रिकंस्ट्रक्शन एरर को कम करती है। डिकोडिंग के बाद, जारी की गई इन्फरेंस स्क्रिप्ट्स मल्टी-व्यू इमेज सेव करती हैं। उन आउटपुट्स को मेश एसेट में इंटीग्रेट करने के लिए अभी भी रीप्रोजेक्शन या बेकिंग चरण आवश्यक है। डिकोडर ट्रेनिंग; इन्फरेंस आउटपुट्स.

डेटा का आधार ​G-buffer TexVerse​ है। इसके सार्वजनिक रिलीज़ में 351,847 BSDF एसेट्स शामिल हैं, जबकि UltraTex फ़िल्टर किए गए 268,365-एसेट ट्रेनिंग सबसेट का उपयोग करता है। रेंडरिंग्स 4096 × 4096 तक नॉर्मल्स, कोऑर्डिनेट्स, एल्बीडो और उपलब्ध मटेरियल चैनल प्रदान करती हैं। इस डेटा रिज़ॉल्यूशन को UltraTex के प्रदर्शित 2K जेनरेशन से अलग समझना चाहिए। डेटासेट विवरण.

एप्लिकेशन, उपलब्धता और भविष्य की दिशाएँ

UltraTex एसेट निर्माण के अपीयरेंस चरण को लक्षित करता है: मौजूदा कैरेक्टर, प्रॉप और ऑब्जेक्ट ज्योमेट्री के लिए विस्तृत सतही टेक्सचर प्रदान करना। डिफ़ॉल्ट आउटपुट ​एल्बीडो​ है, जो पहले से बेक की गई लाइटिंग के बिना सतह के रंग को दर्शाता है। मौजूदा रिपॉज़िटरी अलग LoRA वेट्स के साथ FLUX.2 मेटैलिक–रफ़नेस शाखा भी प्रदान करती है। इस उपलब्ध एक्सटेंशन को मुख्य शोधपत्र के एल्बीडो बेंचमार्क से अलग समझना चाहिए, जिसमें UltraTex को निश्चित रफ़नेस और मेटैलिक मानों के साथ रेंडर किया गया है। उपलब्ध मटेरियल आउटपुट्स; मूल्यांकन सेटिंग्स.

6 नवंबर, 2026 को जाँच के अनुसार, ट्रेनिंग और इन्फरेंस कोड तथा वेट डाउनलोड निर्देश सार्वजनिक हैं। रिपॉज़िटरी FLUX.1-dev और FLUX.2-Klein वेरिएंट्स को सपोर्ट करती है, जिनमें से प्रत्येक के लिए मेल खाते बैकबोन, LoRA और डिकोडर फ़ाइलें आवश्यक हैं। इसका परीक्षण किया गया वातावरण Python 3.12, CUDA 12.4 और PyTorch 2.5.1 का उपयोग करता है। यह लेख शोधपत्र और इम्प्लीमेंटेशन की समीक्षा करता है; यह स्वतंत्र गुणवत्ता या गति पुनरुत्पादन का दावा नहीं करता। आधिकारिक रिपॉज़िटरी.

लेखक अत्यधिक दोहराव वाले टेक्सचर और प्रीट्रेन्ड VAE के कंप्रेस्ड रिप्रेज़ेंटेशन से होने वाली विवरण-हानि को कठिनाइयों के रूप में पहचानते हैं। 4K या 8K तक स्केल करने के लिए उनकी बताई गई दिशा ऐसे DiT–VAE फ़ाउंडेशन मॉडल्स को फिर से डिज़ाइन करना है जो मूल रूप से उन रिज़ॉल्यूशन्स को सपोर्ट करें, क्योंकि मौजूदा FLUX बैकबोन लगभग 1K–2K इनपुट्स के लिए अधिक उपयुक्त है। ये सीमाएँ और शोध दिशाएँ हैं, जारी की गई हाई-रिज़ॉल्यूशन क्षमताएँ नहीं। शोधपत्र, सीमाएँ.