İdol: Tek Görüntüden 3D Gaussian Splat'lerine

Öne Çıkanlar ve Sonuçlar

Speridlabs tarafından geliştirilen Idol, tek bir nesnenin fotoğrafını, render'ını veya oluşturulmuş görüntüsünü döndürülebilir bir 3D Gaussian splat'e dönüştürür. Nesnenin görünmeyen taraflarını tahmin eder ve 32.768 ila 1.048.576 Gaussian içeren standart bir 3DGS PLY dışa aktarır. Pratik açıdan çekiciliği, zorunlu çoklu görünüm yakalama oturumu yerine, kontrol edilebilir çıktı yoğunluğuna ve tüketici GPU'su bellek gereksinimlerine sahip herkese açık bir çıkarım SDK'sı sunmasıdır. Resmî araştırma sayfası.

Yazarların karşılaştırmasında her model için bir H100 kullanılır. 50 örnekleme adımında ve 262.144 Gaussian ile Idol, istek başına 6,8 saniye, giriş görünümü SSIM değeri 0,726 ve yedi yeni görünüm için DINOv2 benzerliği 0,781 bildirir; bu değerler, listelenen 50 + 50 adımlı ayarında TRELLIS'in 0,716 ve 0,754 değerleriyle karşılaştırılır. LGM, 1,1 saniyeyle daha hızlıdır; dolayısıyla Idol her metriğe liderlik etmez. Bunlar yazarların bildirdiği sonuçlardır; gösterilen karşılaştırmada adı belirtilmiş bir kıyaslama veri kümesi veya örnek sayısı tanımlanmamıştır. Kıyaslama.

Ayrı bir zamanlama tablosu, aynı 50 adımlı, 262.144 Gaussian ayarında bir RTX 4090 üzerinde sekiz görüntünün medyanı alınarak 19,1 saniye bildirir. Model kartı 7,2 GB tepe bellek kullanımı bildirir. Bu nedenle “iki saniyenin altında” başlığı, bu standart 4090 yapılandırmasının ölçülen çalışma süresi olarak okunmamalıdır. Model kartı ve donanım ayarları.

Nasıl Çalışır

Çıkarım yolu; görüntü hazırlama → çift görüntü kodlama → ortak nesne ve kamera akışı örnekleme → oktree bağlantı noktası yerleştirme → Gaussian kod çözme → PLY ve kamera dışa aktarımı adımlarından oluşur. BiRefNet arka planı kaldırır ve nesne 1024 × 1024 piksel olarak çerçevelenir. Fotoğraf ve sentetik modlar, sırasıyla 1,7 ve 1,2 olmak üzere farklı kırpma kenar boşlukları kullanır. İşlem hattı.

DINOv3 görsel özellik belirteçlerini, FLUX.2 VAE ise sıkıştırılmış görüntü bilgisini sağlar. Transformer'ın çalışma boyutuna yansıtıldıktan sonra gömmeleri eklenerek görüntü koşullandırması oluşturulur. Üretim, iki rastgele tensörden başlar: 16 kanallı 8.192 belirteç içeren bir nesne latent'i ve beş kanallı bir kamera belirteci. Akışlar, ortak dikkat mekanizması latent, görüntü ve kamera belirteçlerini birlikte işlemeden önce ayrı ayrı iyileştirilir. Model hem nesne hem de kamera için hızları tahmin eder; böylece bakış açısı bağımsız olarak varsayılan bir girdi olmak yerine üretimin bir parçası hâline gelir. Transformer uygulaması.

Örnekleyici, Euler adımlarıyla t = 1'deki gürültüden t = 0'daki veriye doğru düzeltilmiş akışı entegre eder. Varsayılanlar 50 adım, w = 3 yönlendirme parametresi ve 3 zaman kaymasıdır. Gerçek yönlendirme denklemi v = (1 + w)v_cond − wv_uncond şeklindedir; kaydırılmış zaman ızgarası, yüksek gürültüye yakın bölgelere daha fazla adım ayırır. Bu işlemler, her yinelemede milyonlarca açık Gaussian'ı değil, sıkıştırılmış latent'i ve kamera durumunu değiştirir. Akış örnekleyicisi.

Kod çözme, bu sıkıştırılmış sonucu uzamsal olarak genişletir. Bir oktree kod çözücü, nesne latent'ine koşullanır ve istenen sayıda bağlantı noktasını her düzeyde sekiz alt hücreye dağıtır. Bir Gaussian kod çözücü, aynı latent'i çapraz dikkat yoluyla okur ve her bağlantı noktası için 32 Gaussian üretir; konum ofsetlerini, rengi, ölçeği, dönüşü ve opaklığı tahmin eder. Bu nedenle 262.144 Gaussian için 8.192 bağlantı noktası gerekir. Çıktı yoğunluğu kod çözme sırasında kontrol edilir; latent belirteci sayısı veya bir mesh alt bölümlendirme düzeyi değildir. Kod çözücüler.

Gürültü giderici 370,6 milyon parametre, iki kod çözücü ise yaklaşık 288,1 milyon parametre içerir; bu temel bileşenler için toplam yaklaşık 0,66 milyar parametre eder. Görüntü kodlayıcıları ve arka plan kaldırma da dâhil edildiğinde tam istek yaklaşık 1,80 milyar parametreye ulaşır. SDK, splat'i, işlenmiş giriş görüntüsünü ve tahmin edilen kamera parametrelerini döndürür. GPU optimizasyonları gürültü gidericiyi derler ve koşullu/koşulsuz geçişleri toplu hâle getirir; ilk üretimde ek başlangıç maliyeti oluşur. Bileşen dökümü ve çalışma zamanı.

Uygulamalar, Kullanılabilirlik ve Gelecekteki Yönelimler

Çıktı, splat tabanlı nesne önizlemeleri, etkileşimli sunumlar ve görüntüden 3D üretim deneyleri için uygundur. Gaussian PLY, su geçirmez bir poligon mesh'i, CAD katısı veya otomatik olarak rig'lenmiş bir karakter değildir. Gizli yüzeyler ölçülmek yerine çıkarımlanır. SDK ve ağırlıklar Apache-2.0 lisanslamasıyla yayımlanırken gerekli DINOv3 ve FLUX.2 kodlayıcı bileşenleri ayrı, erişim kısıtlamalı erişim ve bunlar için geçerli koşullar gerektirir. Sürüm ve erişim gereksinimleri.

Bu incelemede 6 Kasım 2026 tarihinde kontrol edilen resmî araştırma sayfası, model kartı ve 4702a7f SDK işlemesi kullanılmıştır. Bu materyallerde bağımsız bir teknik makale veya Idol'a özel açık bir gelecek çalışma yol haritası bulunamamıştır. İncelenen depo, çıkarım ve bir demo sağlar; bu nedenle içeriği açıklanmamış bir eğitim tarifini ortaya koymaz. Bu makale için herhangi bir model çıkarımı veya kıyaslama yeniden çalıştırılmamıştır.