UltraTex: Využití 2K difuze z více pohledů pro 3D texturování

Hlavní body a výsledky: Více detailů, méně promarněných výpočetních zdrojů

Původní článek: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex generuje detailní textury pro existující 3D síť pomocí referenčního obrázku. Projekt představený na SIGGRAPH Asia 2026 řeší běžné úzké hrdlo: texturování z více pohledů v rozlišení 512 nebo 768 ztrácí jemné vzory a detaily povrchu. UltraTex zvyšuje generované pohledy na 2048 × 2048 tím, že soustřeďuje výpočty na popředí objektu. Jeho hlavním přínosem je praktické využití difuze z více pohledů ve vysokém rozlišení prostřednictvím koordinovaných změn zpracování tokenů, pozornosti a dekódování. Oficiální projekt.

Na 100 objektech TexVerse vyčleněných pro testování UltraTex uvádí ​neostínované LPIPS 0,082 oproti 0,138 u LumiTex​, přičemž nižší hodnota znamená lepší percepční shodu. Na jediném H200 autoři uvádějí 20,6–91,1× zrychlení trénování a 22,3–74,6× zrychlení inference oproti hustému základu při 10–30% pokrytí popředím a zachování 20 % bloků pozornosti. Jde o výsledky závislé na konfiguraci, nikoli o pevně dané zrychlení pro každý asset nebo kompletní produkční workflow. Článek, experimenty.

Jak to funguje: Od referenčního obrázku k texturovanému povrchu

Pipeline nejprve z vstupní sítě vykreslí šest map normál: čtyři boční pohledy, pohled shora a pohled zespodu. VAE zakóduje geometrické vodítko a referenční obrázek do latentních reprezentací. Předtrénovaný difuzní transformátor FLUX poté pomocí flow matchingu generuje šest odpovídajících pohledů textury; kompletní pipeline v článku je znovu promítá na síť. Při rozlišení 2K přispívá šest cílových pohledů, šest geometrických pohledů a jedna reference celkem 212 992 obrazových tokenů, což vysvětluje, proč je husté zpracování nákladné. Pipeline; vysvětlení nákladů tokenů.

Odstraňování tokenů pozadí odstraňuje obrazové tokeny mimo objekt ještě před bloky transformátoru. Masky identifikují zachované pozice, zatímco odpovídající původní rotační poziční embeddingy (RoPE) zůstávají připojené. Sekvence se zkrátí, aniž by ztratila své prostorové souřadnice. Tím se šetří výpočty v celém backbone, včetně dopředných vrstev. V uvolněném sampleru Eulerovy aktualizace upravují pouze vybrané pozice popředí; šum pozadí zůstává až do přípravy dekódování nedotčen. Výběr tokenů; implementace samplování.

Blokově řídká pozornost snižuje náklady na interakce mezi zbývajícími tokeny. Implementace zprůměruje vlastnosti dotazů a klíčů v blocích, odhadne jejich relevanci a pro každý blok dotazu vybere bloky klíčů s nejvyšším skóre. Pozornost pak používá původní vlastnosti tokenů uvnitř těchto vybraných bloků. Konfigurace FLUX.1 zachovává 20 % bloků klíčů: omezuje mnoho interakcí, aniž by snižovala rozlišení obrazu. Výběr bloků; konfigurace pozornosti.

VAE ​zohledňující popředí​**​ dekódování řeší důsledek přeskočení odšumování pozadí. Kombinace čistého popředí se zašuměným pozadím může narušit rekonstrukci. UltraTex nahradí pozadí latentní reprezentací zakódovanou z jednobarevného černého obrázku a poté použije dekodér přizpůsobený tomuto kompozitu. Kodér zůstává zmrazený; trénování dekodéru minimalizuje chybu rekonstrukce pouze na pixelech popředí. Po dekódování uvolněné inferenční skripty ukládají obrázky z více pohledů. Začlenění těchto výstupů do assetu sítě stále vyžaduje krok zpětného promítnutí nebo bakingu. Trénování dekodéru; inferenční výstupy.

Datovým základem je ​G-buffer TexVerse​. Jeho veřejná verze obsahuje 351 847 BSDF assetů, zatímco UltraTex používá filtrovanou trénovací podmnožinu o 268 365 assetech. Vykreslení poskytují normály, souřadnice, albedo a dostupné materiálové kanály až v rozlišení 4096 × 4096. Toto rozlišení dat je třeba odlišovat od předvedeného generování v rozlišení 2K v UltraTex. Popis datasetu.

Aplikace, dostupnost a budoucí směry

UltraTex cílí na fázi vzhledu při tvorbě assetů: dodává detailní povrchové textury pro existující geometrii postav, rekvizit a objektů. Výchozím výstupem je ​albedo​, které představuje barvu povrchu bez předem zapracovaného osvětlení. Aktuální repozitář také poskytuje větev FLUX.2 pro metaličnost a drsnost se samostatnými vahami LoRA. Toto dostupné rozšíření je třeba odlišovat od hlavního albedo benchmarku článku, v němž UltraTex vykresluje s pevně nastavenými hodnotami drsnosti a metalicity. Dostupné materiálové výstupy; nastavení vyhodnocení.

K 6. listopadu 2026 jsou veřejně dostupné kód pro trénování a inferenci i pokyny ke stažení vah. Repozitář podporuje varianty FLUX.1-dev a FLUX.2-Klein, z nichž každá vyžaduje odpovídající soubory backbone, LoRA a dekodéru. Testované prostředí používá Python 3.12, CUDA 12.4 a PyTorch 2.5.1. Tento článek hodnotí článek a implementaci; netvrdí, že jde o nezávislou reprodukci kvality nebo rychlosti. Oficiální repozitář.

Autoři uvádějí potíže s velmi repetitivními texturami a ztrátu detailů způsobenou komprimovanou reprezentací předtrénovaného VAE. Jejich deklarovaným směrem pro škálování na 4K nebo 8K je přepracování základních modelů DiT–VAE s nativní podporou těchto rozlišení, protože stávající backbone FLUX je lépe přizpůsoben vstupům přibližně v rozmezí 1K–2K. Jde o omezení a výzkumné směry, nikoli o uvolněné schopnosti ve vysokém rozlišení. Článek, omezení.