Idol: Imej Tunggal kepada Gaussian Splats 3D

Sorotan dan Hasil

Idol, daripada Speridlabs, menukarkan foto, render atau imej janaan bagi satu objek kepada Gaussian splat 3D yang boleh diputar. Ia meramalkan sisi objek yang tidak kelihatan dan mengeksport PLY 3DGS standard yang mengandungi 32,768 hingga 1,048,576 Gaussian. Tarikan praktikalnya ialah SDK inferens awam dengan ketumpatan output dan keperluan memori GPU pengguna yang boleh dikawal, bukannya sesi tangkapan berbilang pandangan yang diwajibkan. Halaman penyelidikan rasmi.

Perbandingan pengarang menggunakan satu H100 bagi setiap model. Pada 50 langkah pensampelan dan 262,144 Gaussian, Idol melaporkan 6.8 saat setiap permintaan, SSIM pandangan input sebanyak 0.726 dan persamaan DINOv2 pandangan baharu ketujuh sebanyak 0.781, berbanding 0.716 dan 0.754 bagi TRELLIS di bawah tetapan 50 + 50 langkah yang disenaraikan. LGM lebih pantas pada 1.1 saat, jadi Idol tidak mendahului setiap metrik. Ini ialah hasil yang dilaporkan pengarang; perbandingan yang dipaparkan tidak mengenal pasti set data penanda aras atau bilangan sampel yang dinamakan. Penanda aras.

Jadual masa berasingan melaporkan 19.1 saat pada RTX 4090 dengan tetapan 50 langkah dan 262,144 Gaussian yang sama, menggunakan median daripada lapan imej. Kad model melaporkan memori puncak sebanyak 7.2 GB. Oleh itu, tajuk “bawah dua saat” tidak sepatutnya ditafsirkan sebagai masa jalan yang diukur bagi konfigurasi 4090 standard ini. Kad model dan tetapan perkakasan.

Cara Ia Berfungsi

Laluan inferens ialah penyediaan imej → pengekodan imej dwi → pensampelan aliran objek-dan-kamera bersama → penempatan sauh oktree → penyahkodan Gaussian → eksport PLY dan kamera. BiRefNet membuang latar belakang, dan objek dibingkaikan pada 1024 × 1024 piksel. Mod foto dan sintetik menggunakan margin pemangkasan yang berbeza, masing-masing 1.7 dan 1.2. Saluran paip.

DINOv3 membekalkan token ciri visual, manakala VAE FLUX.2 membekalkan maklumat imej termampat. Selepas unjuran ke dimensi kerja transformer, pembenaman tersebut ditambah untuk membentuk pengkondisian imej. Penjanaan bermula daripada dua tensor rawak: laten objek dengan 8,192 token 16 saluran, dan token kamera lima saluran. Strim diperhalus secara berasingan sebelum perhatian bersama memproses token laten, imej dan kamera secara serentak. Model meramalkan halaju bagi objek dan kamera, menjadikan sudut pandangan sebahagian daripada penjanaan dan bukannya input yang diandaikan secara berasingan. Pelaksanaan transformer.

Pensampel mengintegrasikan aliran terbetul daripada hingar pada t = 1 kepada data pada t = 0 dengan langkah Euler. Lalai ialah 50 langkah, parameter panduan w = 3 dan anjakan masa 3. Persamaan panduan sebenar ialah v = (1 + w)v_cond − wv_uncond; grid masa yang dianjakkan memperuntukkan lebih banyak langkah berdekatan hingar tinggi. Operasi ini mengubah laten padat dan keadaan kamera, bukannya berjuta-juta Gaussian eksplisit pada setiap lelaran. Pensampel aliran.

Penyahkodan mengembangkan hasil padat tersebut secara spatial. Penyahkod oktree dikondisikan pada laten objek dan mengagihkan bilangan sauh yang diminta antara lapan sel anak pada setiap aras. Penyahkod Gaussian membaca laten yang sama melalui perhatian silang dan menghasilkan 32 Gaussian bagi setiap sauh, dengan meramalkan ofset kedudukan, warna, skala, putaran dan kelegapan. Oleh itu, 262,144 Gaussian memerlukan 8,192 sauh. Ketumpatan output dikawal semasa penyahkodan; ia bukan bilangan token laten atau aras pembahagian mesh. Penyahkod.

Penyahbunyi mengandungi 370.6M parameter dan dua penyahkod kira-kira 288.1M, menjadikan jumlah kira-kira 0.66B bagi komponen teras tersebut. Dengan memasukkan pengekod imej dan penyingkiran latar belakang, jumlah permintaan penuh ialah kira-kira 1.80B parameter. SDK mengembalikan splat, imej input yang diproses dan parameter kamera yang diramalkan. Pengoptimuman GPU menyusun penyahbunyi dan mengumpulkan hantaran bersyarat/tidak bersyarat, dengan kos permulaan tambahan pada penjanaan pertama. Perakaunan komponen dan masa jalan.

Aplikasi, Ketersediaan dan Hala Tuju Masa Hadapan

Output ini sesuai untuk pratonton objek berasaskan splat, pembentangan interaktif dan eksperimen dalam penjanaan imej-ke-3D. PLY Gaussian bukan mesh poligon kedap, pepejal CAD atau watak yang dirig secara automatik. Permukaan tersembunyi dianggarkan dan bukannya diukur. SDK dan pemberat diterbitkan dengan pelabelan Apache-2.0, manakala komponen pengekod DINOv3 dan FLUX.2 yang diperlukan memerlukan akses berpagar berasingan serta syarat yang berkenaan. Keperluan keluaran dan akses.

Ulasan ini menggunakan halaman penyelidikan rasmi, kad model dan commit SDK 4702a7f, yang disemak pada 6 November 2026. Tiada kertas teknikal kendiri atau peta hala tuju kerja masa hadapan khusus Idol yang jelas ditemui dalam bahan tersebut. Repositori yang diperiksa membekalkan inferens dan demo, jadi kandungannya tidak membuktikan resipi latihan yang tidak didedahkan. Tiada inferens model atau penanda aras dijalankan semula untuk artikel ini.