Idol: Mula sa Isang Larawan patungo sa 3D Gaussian Splats

Mga Tampok at Resulta

Binabago ng Idol, mula sa Speridlabs, ang isang litrato, render, o nabuong larawan ng isang bagay upang maging isang napapaikot na 3D Gaussian splat. Hinuhulaan nito ang mga panig ng bagay na hindi nakikita at nag-e-export ng karaniwang 3DGS PLY na naglalaman ng 32,768 hanggang 1,048,576 Gaussian. Ang praktikal na halaga nito ay isang pampublikong inference SDK na may makokontrol na densidad ng output at mga kinakailangan sa memorya ng consumer GPU, sa halip na sapilitang multi-view capture session. Opisyal na pahina ng pananaliksik.

Gumagamit ang paghahambing ng mga may-akda ng isang H100 bawat modelo. Sa 50 sampling step at 262,144 Gaussian, nag-uulat ang Idol ng 6.8 segundo bawat request, input-view SSIM na 0.726, at DINOv2 similarity na 0.781 para sa pitong bagong view, kumpara sa 0.716 at 0.754 ng TRELLIS sa nakalista nitong setting na 50 + 50 step. Mas mabilis ang LGM sa 1.1 segundo, kaya hindi nangunguna ang Idol sa bawat metric. Mga resultang iniulat ito ng mga may-akda; hindi tinutukoy ng ipinapakitang paghahambing ang isang pinangalanang benchmark dataset o bilang ng sample. Benchmark.

Nag-uulat ang hiwalay na timing table ng 19.1 segundo sa isang RTX 4090 sa kaparehong 50-step, 262,144-Gaussian na setting, gamit ang median mula sa walong larawan. Nag-uulat ang model card ng 7.2 GB na peak memory. Kaya hindi dapat ituring ang headline nitong “wala pang dalawang segundo” bilang nasukat na runtime ng karaniwang 4090 configuration na ito. Model card at mga setting ng hardware.

Paano Ito Gumagana

Ang inference path ay paghahanda ng larawan → dual image encoding → joint object-and-camera flow sampling → paglalagay ng mga anchor sa octree → Gaussian decoding → pag-export ng PLY at camera. Tinatanggal ng BiRefNet ang background, at bina-frame ang bagay sa 1024 × 1024 pixel. Magkaibang crop margin ang ginagamit ng photo at synthetic mode, na 1.7 at 1.2 ayon sa pagkakasunod. Pipeline.

Nagbibigay ang DINOv3 ng mga visual feature token, habang nagbibigay ang FLUX.2 VAE ng naka-compress na impormasyon ng larawan. Pagkatapos i-project sa working dimension ng transformer, pinagdaragdag ang kanilang mga embedding upang mabuo ang image conditioning. Nagsisimula ang generation sa dalawang random tensor: isang object latent na may 8,192 token na may 16 channel, at isang five-channel camera token. Hiwalay na pinipino ang mga stream bago pagsama-samahin ng joint attention ang latent, image, at camera token. Hinuhulaan ng modelo ang mga velocity para sa object at camera, kaya bahagi ng generation ang viewpoint sa halip na isang input na ipinapalagay na nang nakahiwalay. Implementasyon ng transformer.

Isinasama ng sampler ang rectified flow mula noise sa t = 1 patungo sa data sa t = 0 gamit ang mga Euler step. Ang mga default ay 50 step, guidance parameter na w = 3, at time shift na 3. Ang aktuwal na equation ng guidance ay v = (1 + w)v_cond − wv_uncond; naglalaan ang shifted time grid ng mas maraming step malapit sa mataas na noise. Binabago ng mga operasyong ito ang compact latent at camera state, hindi ang milyun-milyong explicit Gaussian sa bawat iteration. Flow sampler.

Pinapalawak ng decoding ang compact na resultang iyon sa espasyo. Nagko-condition ang isang octree decoder sa object latent at namamahagi ng hinihinging bilang ng mga anchor sa walong child cell sa bawat level. Binabasa ng isang Gaussian decoder ang parehong latent sa pamamagitan ng cross-attention at naglalabas ng 32 Gaussian bawat anchor, habang hinuhulaan ang mga offset ng posisyon, kulay, scale, rotation, at opacity. Kaya nangangailangan ang 262,144 Gaussian ng 8,192 anchor. Kinokontrol ang densidad ng output sa decoding; hindi ito ang bilang ng latent token o antas ng mesh subdivision. Mga decoder.

Naglalaman ang denoiser ng 370.6M parameter at ang dalawang decoder ng humigit-kumulang 288.1M, kaya nasa mga 0.66B ang mga iyon para sa mga pangunahing component. Kapag isinama ang mga image encoder at background removal, umaabot ang buong request sa humigit-kumulang 1.80B parameter. Ibinabalik ng SDK ang splat, ang naprosesong input image, at mga hinulaang camera parameter. Kino-compile ng mga GPU optimization ang denoiser at bina-batch ang conditional/unconditional pass, na may karagdagang startup cost sa unang generation. Pagtatala ng mga component at runtime.

Mga Aplikasyon, Availability, at Mga Direksyong Hinaharap

Ang output ay angkop para sa mga object preview na nakabatay sa splat, interactive presentation, at mga eksperimento sa image-to-3D generation. Ang Gaussian PLY ay hindi watertight polygon mesh, CAD solid, o awtomatikong na-rig na character. Hinuhulaan ang mga nakatagong surface sa halip na sinusukat. Inilathala ang SDK at mga weight na may Apache-2.0 labeling, habang nangangailangan ang mga DINOv3 at FLUX.2 encoder component ng hiwalay na gated access at ng kani-kanilang naaangkop na termino. Mga kinakailangan sa release at access.

Ginagamit ng review na ito ang opisyal na pahina ng pananaliksik, model card, at SDK commit 4702a7f, na sinuri noong Nobyembre 6, 2026. Walang nakitang hiwalay na technical paper o tahasang roadmap ng future work na partikular sa Idol sa mga materyal na iyon. Nagbibigay ang sinuring repository ng inference at demo, kaya hindi pinatutunayan ng mga internal nito ang isang hindi isiniwalat na training recipe. Walang model inference o benchmark na muling pinatakbo para sa artikulong ito.