आइडल: एकल छवि से 3D गॉसियन स्प्लैट्स

मुख्य बातें और परिणाम

Speridlabs का Idol, किसी एक वस्तु की तस्वीर, रेंडर या जेनरेट की गई इमेज को घुमाए जा सकने वाले 3D Gaussian splat में बदलता है। यह वस्तु के दिखाई न देने वाले पक्षों का अनुमान लगाता है और 32,768 से 1,048,576 Gaussians वाली एक मानक 3DGS PLY फ़ाइल एक्सपोर्ट करता है। इसका व्यावहारिक आकर्षण नियंत्रित आउटपुट घनत्व और उपभोक्ता-GPU मेमोरी आवश्यकताओं वाला सार्वजनिक inference SDK है, न कि अनिवार्य multi-view capture session। आधिकारिक शोध पृष्ठ।

लेखकों की तुलना में प्रत्येक मॉडल के लिए एक H100 का उपयोग किया गया है। 50 sampling steps और 262,144 Gaussians पर Idol प्रति अनुरोध 6.8 सेकंड, input-view SSIM 0.726 और seven-new-view DINOv2 similarity 0.781 रिपोर्ट करता है, जबकि TRELLIS की सूचीबद्ध 50 + 50-step सेटिंग में ये क्रमशः 0.716 और 0.754 हैं। LGM 1.1 सेकंड में अधिक तेज़ है, इसलिए Idol हर metric में सबसे आगे नहीं है। ये लेखकों द्वारा रिपोर्ट किए गए परिणाम हैं; प्रदर्शित तुलना में किसी नामित benchmark dataset या sample count की पहचान नहीं की गई है। Benchmark।

एक अलग timing table उसी 50-step, 262,144-Gaussian सेटिंग पर RTX 4090 में 19.1 सेकंड रिपोर्ट करती है, जिसमें आठ images का median लिया गया है। Model card 7.2 GB peak memory रिपोर्ट करता है। इसलिए इसके “under two seconds” headline को इस मानक 4090 configuration का measured runtime नहीं समझना चाहिए। Model card और hardware settings।

यह कैसे काम करता है

Inference path है: image preparation → dual image encoding → joint object-and-camera flow sampling → octree anchor placement → Gaussian decoding → PLY और camera export। BiRefNet background हटाता है और वस्तु को 1024 × 1024 pixels में frame किया जाता है। Photo और synthetic modes में अलग-अलग crop margins, क्रमशः 1.7 और 1.2, उपयोग होते हैं। Pipeline।

DINOv3 visual feature tokens उपलब्ध कराता है, जबकि FLUX.2 VAE compressed image information उपलब्ध कराता है। Transformer के working dimension में projection के बाद, image conditioning बनाने के लिए उनके embeddings को जोड़ा जाता है। Generation दो random tensors से शुरू होती है: 16 channels वाले 8,192 tokens का object latent और five-channel camera token। Joint attention द्वारा latent, image और camera tokens को एक साथ process करने से पहले streams को अलग-अलग refine किया जाता है। मॉडल object और camera, दोनों के लिए velocities predict करता है, जिससे viewpoint generation का हिस्सा बन जाता है, न कि स्वतंत्र रूप से माना गया input। Transformer implementation।

Sampler Euler steps के साथ noise से t = 1 पर data तक t = 0 पर rectified flow को integrate करता है। Defaults हैं 50 steps, guidance parameter w = 3 और time shift 3। वास्तविक guidance equation v = (1 + w)v_cond − wv_uncond है; shifted time grid high noise के निकट अधिक steps आवंटित करती है। ये operations प्रत्येक iteration में लाखों explicit Gaussians को नहीं, बल्कि compact latent और camera state को बदलते हैं। Flow sampler।

Decoding उस compact result को spatial रूप से expand करता है। Octree decoder object latent पर condition करता है और प्रत्येक level पर आठ child cells के बीच requested anchors की संख्या वितरित करता है। Gaussian decoder cross-attention के माध्यम से उसी latent को पढ़ता है और प्रति anchor 32 Gaussians emit करता है, तथा position offsets, color, scale, rotation और opacity predict करता है। इसलिए 262,144 Gaussians के लिए 8,192 anchors आवश्यक हैं। Output density decoding में नियंत्रित होती है; यह latent-token count या mesh subdivision level नहीं है। Decoders।

Denoiser में 370.6M parameters और दोनों decoders में लगभग 288.1M parameters हैं, जिससे उन core components के लिए कुल लगभग 0.66B parameters होते हैं। Image encoders और background removal को शामिल करने पर full request में लगभग 1.80B parameters होते हैं। SDK splat, processed input image और predicted camera parameters लौटाता है। GPU optimizations denoiser को compile करती हैं और conditional/unconditional passes को batch करती हैं, साथ ही पहली generation पर अतिरिक्त startup cost होती है। Component accounting और runtime।

Applications, उपलब्धता और भविष्य की दिशाएँ

यह output splat-based object previews, interactive presentations और image-to-3D generation के experiments के लिए उपयुक्त है। Gaussian PLY watertight polygon mesh, CAD solid या automatically rigged character नहीं है। Hidden surfaces का अनुमान लगाया जाता है, उन्हें मापा नहीं जाता। SDK और weights Apache-2.0 labeling के साथ प्रकाशित किए गए हैं, जबकि आवश्यक DINOv3 और FLUX.2 encoder components के लिए अलग gated access और उनके लागू terms आवश्यक हैं। Release और access requirements।

यह review official research page, model card और SDK commit 4702a7f पर आधारित है, जिन्हें 6 नवंबर 2026 को जाँचा गया। इन materials में कोई standalone technical paper या स्पष्ट Idol-specific future-work roadmap नहीं मिला। निरीक्षित repository inference और एक demo उपलब्ध कराती है, इसलिए उसके internals किसी अप्रकाशित training recipe को स्थापित नहीं करते। इस article के लिए कोई model inference या benchmark दोबारा नहीं चलाया गया।