Idol: Gambar Tunggal menjadi Gaussian Splat 3D

Sorotan dan Hasil

Idol, dari Speridlabs, mengubah foto, render, atau gambar yang dihasilkan dari satu objek menjadi Gaussian splat 3D yang dapat diputar. Model ini memprediksi sisi objek yang tidak terlihat dan mengekspor PLY 3DGS standar yang berisi 32.768 hingga 1.048.576 Gaussian. Daya tarik praktisnya adalah SDK inferensi publik dengan kepadatan output dan kebutuhan memori GPU konsumen yang dapat dikendalikan, bukan sesi pengambilan multi-tampilan yang wajib dilakukan. Halaman riset resmi.

Perbandingan para penulis menggunakan satu H100 per model. Pada 50 langkah sampling dan 262.144 Gaussian, Idol melaporkan 6,8 detik per permintaan, SSIM tampilan input sebesar 0,726, dan kemiripan DINOv2 tampilan baru ketujuh sebesar 0,781, dibandingkan dengan 0,716 dan 0,754 milik TRELLIS pada pengaturan 50 + 50 langkah yang tercantum. LGM lebih cepat dengan 1,1 detik, jadi Idol tidak unggul dalam setiap metrik. Ini adalah hasil yang dilaporkan penulis; perbandingan yang ditampilkan tidak mengidentifikasi dataset benchmark atau jumlah sampel tertentu. Benchmark.

Tabel waktu terpisah melaporkan 19,1 detik pada RTX 4090 dalam pengaturan 50 langkah dan 262.144 Gaussian yang sama, dengan mengambil median dari delapan gambar. Kartu model melaporkan memori puncak sebesar 7,2 GB. Oleh karena itu, tajuk “di bawah dua detik” tidak boleh dipahami sebagai runtime terukur dari konfigurasi standar 4090 ini. Kartu model dan pengaturan perangkat keras.

Cara Kerjanya

Alur inferensi adalah persiapan gambar → pengodean gambar ganda → pengambilan sampel aliran objek-dan-kamera gabungan → penempatan anchor octree → dekode Gaussian → ekspor PLY dan kamera. BiRefNet menghapus latar belakang, dan objek dibingkai pada 1024 × 1024 piksel. Mode foto dan sintetis menggunakan margin crop yang berbeda, masing-masing 1,7 dan 1,2. Pipeline.

DINOv3 menyediakan token fitur visual, sementara VAE FLUX.2 menyediakan informasi gambar terkompresi. Setelah diproyeksikan ke dimensi kerja transformer, embedding-nya dijumlahkan untuk membentuk pengondisian gambar. Generasi dimulai dari dua tensor acak: latent objek dengan 8.192 token yang masing-masing memiliki 16 kanal, dan token kamera lima kanal. Aliran tersebut disempurnakan secara terpisah sebelum perhatian gabungan memproses token latent, gambar, dan kamera secara bersama-sama. Model memprediksi kecepatan untuk objek dan kamera, sehingga sudut pandang menjadi bagian dari generasi, bukan input yang diasumsikan secara independen. Implementasi transformer.

Sampler mengintegrasikan rectified flow dari noise pada t = 1 ke data pada t = 0 dengan langkah Euler. Default-nya adalah 50 langkah, parameter panduan w = 3, dan pergeseran waktu 3. Persamaan panduan aktualnya adalah v = (1 + w)v_cond − wv_uncond; grid waktu yang digeser mengalokasikan lebih banyak langkah di dekat noise tinggi. Operasi ini mengubah latent kompak dan status kamera, bukan jutaan Gaussian eksplisit pada setiap iterasi. Sampler flow.

Dekode memperluas hasil kompak tersebut secara spasial. Decoder octree dikondisikan pada latent objek dan mendistribusikan jumlah anchor yang diminta ke delapan sel anak pada setiap level. Decoder Gaussian membaca latent yang sama melalui cross-attention dan menghasilkan 32 Gaussian per anchor, dengan memprediksi offset posisi, warna, skala, rotasi, dan opasitas. Dengan demikian, 262.144 Gaussian memerlukan 8.192 anchor. Kepadatan output dikendalikan saat dekode; ini bukan jumlah token latent atau level subdivisi mesh. Decoder.

Denoiser berisi 370,6 juta parameter dan kedua decoder sekitar 288,1 juta, sehingga totalnya sekitar 0,66 miliar untuk komponen inti tersebut. Jika encoder gambar dan penghapusan latar belakang turut dihitung, seluruh permintaan mencakup kira-kira 1,80 miliar parameter. SDK mengembalikan splat, gambar input yang telah diproses, dan parameter kamera yang diprediksi. Optimisasi GPU mengompilasi denoiser dan mengelompokkan batch pass kondisional/tanpa kondisioning, dengan biaya awal tambahan pada generasi pertama. Perincian komponen dan runtime.

Aplikasi, Ketersediaan, dan Arah Masa Depan

Output-nya cocok untuk pratinjau objek berbasis splat, presentasi interaktif, dan eksperimen dalam generasi gambar-ke-3D. PLY Gaussian bukan mesh poligon kedap air, solid CAD, atau karakter yang otomatis di-rig. Permukaan tersembunyi diinferensikan, bukan diukur. SDK dan bobotnya dipublikasikan dengan label Apache-2.0, sementara komponen encoder DINOv3 dan FLUX.2 yang diperlukan memerlukan akses gated terpisah dan ketentuan yang berlaku untuk masing-masing. Rilis dan persyaratan akses.

Tinjauan ini menggunakan halaman riset resmi, kartu model, dan commit SDK 4702a7f, yang diperiksa pada 6 November 2026. Tidak ditemukan makalah teknis mandiri atau peta jalan eksplisit untuk pekerjaan masa depan khusus Idol dalam materi tersebut. Repositori yang diperiksa menyediakan inferensi dan demo, sehingga internalnya tidak menetapkan resep pelatihan yang tidak diungkapkan. Tidak ada inferensi model atau benchmark yang dijalankan ulang untuk artikel ini.