Idol: Jeden obrázek na 3D Gaussian Splats

Hlavní body a výsledky

Idol od společnosti Speridlabs transformuje fotografii, render nebo vygenerovaný obrázek jednoho objektu na rotovatelný 3D Gaussian splat. Předpovídá neviditelné strany objektu a exportuje standardní 3DGS PLY obsahující 32 768 až 1 048 576 Gaussiánů. Jeho praktickou předností je veřejně dostupné inference SDK s nastavitelnou hustotou výstupu a nároky na paměť spotřebitelských GPU, nikoli povinné snímání z více pohledů. Oficiální výzkumná stránka.

Porovnání autorů používá jeden H100 na každý model. Při 50 vzorkovacích krocích a 262 144 Gaussiánech Idol uvádí 6,8 sekundy na požadavek, SSIM vstupního pohledu 0,726 a podobnost DINOv2 pro sedm nových pohledů 0,781, ve srovnání s hodnotami 0,716 a 0,754 u TRELLIS při jeho uvedeném nastavení 50 + 50 kroků. LGM je rychlejší s časem 1,1 sekundy, takže Idol nevede ve všech metrikách. Jde o výsledky uváděné autory; zobrazené porovnání neidentifikuje pojmenovanou benchmarkovou datovou sadu ani počet vzorků. Benchmark.

Samostatná tabulka časů uvádí 19,1 sekundy na RTX 4090 při stejném nastavení 50 kroků a 262 144 Gaussiánů, přičemž medián je vypočten z osmi obrázků. Karta modelu uvádí maximální využití paměti 7,2 GB. Její titulek „méně než dvě sekundy“ by proto neměl být chápán jako naměřený čas běhu této standardní konfigurace na RTX 4090. Karta modelu a hardwarová nastavení.

Jak to funguje

Cesta inference je příprava obrázku → duální kódování obrázku → společné vzorkování toku objektu a kamery → umístění kotev oktree → dekódování Gaussiánů → export PLY a kamery. BiRefNet odstraňuje pozadí a objekt je umístěn do rámečku o rozměrech 1024 × 1024 pixelů. Režimy fotografie a syntetického obrázku používají různé okraje ořezu, konkrétně 1,7 a 1,2. Pipeline.

DINOv3 poskytuje tokeny vizuálních příznaků, zatímco VAE FLUX.2 poskytuje komprimované informace o obrázku. Po projekci do pracovní dimenze transformátoru se jejich embeddingy sečtou a vytvoří podmínění obrázkem. Generování začíná dvěma náhodnými tenzory: latentním objektem s 8 192 tokeny o 16 kanálech a pětikanálovým tokenem kamery. Streamy se nejprve zpřesňují samostatně a poté společná attention zpracuje latentní tokeny, obrazové tokeny a tokeny kamery dohromady. Model predikuje rychlosti objektu i kamery, takže pohled je součástí generování, nikoli nezávisle předpokládaný vstup. Implementace transformátoru.

Vzorkovač integruje rectified flow od šumu při t = 1 k datům při t = 0 pomocí Eulerových kroků. Výchozí hodnoty jsou 50 kroků, parametr guidance w = 3 a časový posun 3. Skutečná rovnice guidance je v = (1 + w)v_cond − wv_uncond; posunutá časová mřížka přiděluje více kroků oblastem s vysokou mírou šumu. Tyto operace mění kompaktní latentní reprezentaci a stav kamery, nikoli miliony explicitních Gaussiánů při každé iteraci. Vzorkovač toku.

Dekódování tento kompaktní výsledek prostorově rozšíří. Oktree dekodér se podmiňuje latentním objektem a na každé úrovni rozděluje požadovaný počet kotev mezi osm podřízených buněk. Gaussiánový dekodér načítá stejný latentní vektor prostřednictvím cross-attention a vytváří 32 Gaussiánů na kotvu, přičemž predikuje posuny pozic, barvu, měřítko, rotaci a neprůhlednost. 262 144 Gaussiánů tedy vyžaduje 8 192 kotev. Hustota výstupu se řídí při dekódování; nejde o počet latentních tokenů ani úroveň dělení sítě. Dekodéry.

Denoiser obsahuje 370,6 milionu parametrů a dva dekodéry přibližně 288,1 milionu, což u těchto základních komponent dává přibližně 0,66 miliardy parametrů. Po započtení obrazových kodérů a odstranění pozadí má celý požadavek zhruba 1,80 miliardy parametrů. SDK vrací splat, zpracovaný vstupní obrázek a predikované parametry kamery. Optimalizace GPU kompilují denoiser a dávkují podmíněné a nepodmíněné průchody, přičemž první generování je zatíženo dodatečnými náklady na spuštění. Přehled komponent a běh.

Použití, dostupnost a budoucí směry

Výstup je vhodný pro náhledy objektů založené na splat, interaktivní prezentace a experimenty s generováním z obrázku do 3D. Gaussian PLY není vodotěsný polygonový model, CAD těleso ani automaticky rigovaná postava. Skryté povrchy jsou odhadovány, nikoli měřeny. SDK a váhy jsou publikovány s licencí Apache-2.0, zatímco požadované komponenty kodérů DINOv3 a FLUX.2 vyžadují samostatný řízený přístup a podléhají příslušným podmínkám. Vydání a požadavky na přístup.

Tato recenze využívá oficiální výzkumnou stránku, kartu modelu a commit SDK 4702a7f, ověřené 6. listopadu 2026. V těchto materiálech nebyl nalezen samostatný technický článek ani výslovný plán budoucího vývoje specifický pro Idol. Prozkoumaný repozitář poskytuje inference a demo, takže jeho interní části nepotvrzují nezveřejněný postup trénování. Pro tento článek nebyla znovu spuštěna inference modelu ani benchmark.