Idol: Pojedynczy obraz do splatów Gaussa 3D

Najważniejsze informacje i wyniki

Idol firmy Speridlabs przekształca fotografię, render lub wygenerowany obraz jednego obiektu w obracalny obiekt 3D Gaussian splat. Przewiduje niewidoczne strony obiektu i eksportuje standardowy plik PLY 3DGS zawierający od 32 768 do 1 048 576 Gaussianów. Jego praktyczną zaletą jest publiczny SDK wnioskowania z kontrolowaną gęstością wyjściową i wymaganiami pamięci konsumenckiego GPU, zamiast obowiązkowej sesji przechwytywania wielu widoków. Oficjalna strona badań.

Porównanie autorów wykorzystuje jeden układ H100 na model. Przy 50 krokach próbkowania i 262 144 Gaussianach Idol podaje 6,8 sekundy na żądanie, SSIM widoku wejściowego na poziomie 0,726 oraz podobieństwo DINOv2 dla siedmiu nowych widoków na poziomie 0,781, w porównaniu z wartościami 0,716 i 0,754 dla TRELLIS przy wymienionym ustawieniu 50 + 50 kroków. LGM jest szybszy i potrzebuje 1,1 sekundy, więc Idol nie prowadzi w każdej metryce. Są to wyniki podane przez autorów; przedstawione porównanie nie identyfikuje nazwanego zbioru danych benchmarku ani liczby próbek. Benchmark.

Oddzielna tabela czasów podaje 19,1 sekundy na RTX 4090 przy tym samym ustawieniu 50 kroków i 262 144 Gaussianów, przy czym mediana została obliczona dla ośmiu obrazów. Karta modelu podaje szczytowe zużycie pamięci na poziomie 7,2 GB. Hasła „poniżej dwóch sekund” nie należy zatem odczytywać jako zmierzonego czasu działania tej standardowej konfiguracji na RTX 4090. Karta modelu i ustawienia sprzętowe.

Jak to działa

Ścieżka wnioskowania obejmuje przygotowanie obrazu → podwójne kodowanie obrazu → wspólne próbkowanie przepływu obiektu i kamery → rozmieszczanie kotwic w oktree → dekodowanie Gaussianów → eksport PLY i kamery. BiRefNet usuwa tło, a obiekt jest kadrowany do 1024 × 1024 pikseli. Tryby fotograficzny i syntetyczny wykorzystują różne marginesy kadrowania: odpowiednio 1,7 i 1,2. Potok.

DINOv3 dostarcza tokeny cech wizualnych, a VAE FLUX.2 dostarcza skompresowane informacje o obrazie. Po rzutowaniu do wymiaru roboczego transformera ich osadzenia są dodawane w celu utworzenia uwarunkowania obrazu. Generowanie rozpoczyna się od dwóch losowych tensorów: latentnego obiektu z 8 192 tokenami po 16 kanałów oraz pięciokanałowego tokenu kamery. Strumienie są udoskonalane osobno, zanim wspólna uwaga przetworzy razem tokeny latentne, obrazu i kamery. Model przewiduje prędkości zarówno dla obiektu, jak i kamery, dzięki czemu punkt widzenia staje się częścią generowania, a nie niezależnie założonym wejściem. Implementacja transformera.

Sampler integruje prostoliniowy przepływ od szumu przy t = 1 do danych przy t = 0 za pomocą kroków Eulera. Wartości domyślne to 50 kroków, parametr guidance w = 3 oraz przesunięcie czasu 3. Rzeczywiste równanie guidance to v = (1 + w)v_cond − wv_uncond; przesunięta siatka czasowa przydziela więcej kroków w pobliżu wysokiego poziomu szumu. Operacje te modyfikują kompaktowy latent i stan kamery, a nie miliony jawnych Gaussianów w każdej iteracji. Sampler przepływu.

Dekodowanie rozwija ten kompaktowy wynik przestrzennie. Dekoder oktree uwarunkowuje się na latencie obiektu i rozdziela żądaną liczbę kotwic między osiem komórek potomnych na każdym poziomie. Dekoder Gaussianów odczytuje ten sam latent za pomocą uwagi krzyżowej i emituje 32 Gaussy na kotwicę, przewidując przesunięcia pozycji, kolor, skalę, obrót i krycie. Zatem 262 144 Gaussianów wymaga 8 192 kotwic. Gęstość wyjściowa jest kontrolowana podczas dekodowania; nie jest to liczba tokenów latentnych ani poziom podziału siatki. Dekodery.

Denoiser zawiera 370,6 mln parametrów, a dwa dekodery około 288,1 mln, co daje około 0,66 mld dla tych podstawowych komponentów. Po uwzględnieniu koderów obrazu i usuwania tła pełne żądanie obejmuje około 1,80 mld parametrów. SDK zwraca splat, przetworzony obraz wejściowy oraz przewidywane parametry kamery. Optymalizacje GPU kompilują denoiser i grupują warunkowe oraz bezwarunkowe przebiegi, co wiąże się z dodatkowym kosztem uruchomienia przy pierwszym generowaniu. Zestawienie komponentów i działanie w czasie rzeczywistym.

Zastosowania, dostępność i przyszłe kierunki

Wynik nadaje się do opartych na splatach podglądów obiektów, interaktywnych prezentacji i eksperymentów z generowaniem obrazu do 3D. Gaussian PLY nie jest szczelną wielokątną siatką, bryłą CAD ani automatycznie osz rigowaną postacią. Ukryte powierzchnie są wnioskowane, a nie mierzone. SDK i wagi opublikowano z oznaczeniem Apache-2.0, natomiast wymagane komponenty koderów DINOv3 i FLUX.2 wymagają oddzielnego dostępu z ograniczeniami oraz podlegają właściwym warunkom. Wydanie i wymagania dostępu.

Niniejsza recenzja korzysta z oficjalnej strony badań, karty modelu oraz commita SDK 4702a7f, sprawdzonych 6 listopada 2026 roku. W tych materiałach nie znaleziono samodzielnego artykułu technicznego ani wyraźnej mapy przyszłych prac dotyczących Idola. Zbadane repozytorium udostępnia wnioskowanie i demo, więc jego zawartość wewnętrzna nie potwierdza nieujawnionej receptury treningu. Na potrzeby tego artykułu nie uruchamiano ponownie wnioskowania modelu ani benchmarku.