UltraTex: Släpp lös 2K-multivydiffusion för 3D-texturering

Höjdpunkter och resultat: Mer detalj, mindre bortkastad beräkningskraft

Ursprunglig artikel: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex genererar detaljerade texturer för ett befintligt 3D-nät med hjälp av en referensbild. Projektet presenterades vid SIGGRAPH Asia 2026 och hanterar en vanlig flaskhals: texturering från flera vyer med upplösningen 512 eller 768 förlorar fina mönster och ytstruktur. UltraTex höjer de genererade vyerna till 2048 × 2048 genom att koncentrera beräkningarna på objektets förgrund. Det centrala bidraget är att göra diffusion från flera högupplösta vyer praktiskt genom samordnade ändringar av tokenbearbetning, attention och avkodning. Officiellt projekt.

På 100 undanhållna TexVerse-objekt rapporterar UltraTex ​oskurad LPIPS på 0.082 jämfört med LumiTex på 0.138​, där lägre värde innebär närmare perceptuell överensstämmelse. På en enda H200 rapporterar författarna 20.6–91.1× snabbare träning och 22.3–74.6× snabbare inferens jämfört med den täta baslinjen vid 10–30 % förgrundstäckning och 20 % bibehållna attention-block. Detta är konfigurationsberoende resultat, inte en fast acceleration för varje tillgång eller ett komplett produktionsflöde. Artikel, experiment.

Så fungerar det: Från referensbild till texturerad yta

Pipeline-processen renderar först sex normalmappningar från indatanätet: fyra sidovyer, en vy uppifrån och en vy underifrån. En VAE kodar geometrisk vägledning och referensbilden till latenter. En förtränad FLUX-diffusionstransformator genererar sedan sex motsvarande texturvyer genom flow matching; artikelns fullständiga pipeline projicerar dem tillbaka på nätet. Vid 2K bidrar sex målvyer, sex geometrivyer och en referens med ​212,992 bildtokens​, vilket förklarar varför tät bearbetning blir dyr. Pipeline; förklaring av tokenkostnad.

Bakgrundstokenborttagning tar bort bildtokens utanför objektet före transformerblocken. Masker identifierar de positioner som behålls, medan motsvarande ursprungliga roterande positionsinbäddningar (RoPE) förblir kopplade. Sekvensen blir kortare utan att dess rumsliga koordinater går förlorade. Detta sparar arbete genom hela backbone-nätverket, inklusive feed-forward-lager. I den släppta samplaren ändrar Euler-uppdateringar endast valda förgrundspositioner; bakgrundsbrus lämnas orört fram till förberedelsen inför avkodning. Tokenval; implementering av sampling.

Blockgles attention minskar kostnaden för interaktioner mellan de återstående tokens. Implementeringen beräknar medelvärdet av query- och key-egenskaper inom block, uppskattar deras relevans och väljer de key-block med högst poäng för varje query-block. Attention använder sedan de ursprungliga tokenegenskaperna i de valda blocken. FLUX.1-konfigurationen behåller 20 % av key-blocken: många interaktioner undviks utan att bildens upplösning minskar. Blockval; attention-konfiguration.

Förgrundsmedveten ​VAE​​ avkodning hanterar konsekvensen av att bakgrundens brusreducering hoppas över. Kombinationen av en ren förgrund och en brusig bakgrund kan förstöra rekonstruktionen. UltraTex ersätter bakgrunden med en latent som kodats från en helt svart bild och använder sedan en avkodare som anpassats för denna komposit. Kodaren förblir fryst; avkodarens träning minimerar rekonstruktionsfelet endast på förgrundspixlar. Efter avkodningen sparar de släppta inferensskripten bilder från flera vyer. Att integrera dessa resultat i en nättillgång kräver fortfarande steget för återprojektion eller bakning. Avkodarträning; inferensresultat.

Datafundamentet är ​G-buffer TexVerse​. Den offentliga utgåvan omfattar 351,847 BSDF-tillgångar, medan UltraTex använder en filtrerad träningsdelmängd med 268,365 tillgångar. Renderingarna tillhandahåller normaler, koordinater, albedo och tillgängliga materialkanaler i upp till 4096 × 4096. Denna dataupplösning bör skiljas från UltraTexs demonstrerade 2K-generering. Datasetbeskrivning.

Tillämpningar, tillgänglighet och framtida riktningar

UltraTex riktar sig mot utseendesteget i tillgångsskapandet: att tillhandahålla detaljerade yttexturer för befintlig geometri för figurer, rekvisita och objekt. Standardutdata är ​albedo​, vilket representerar ytans färg utan inbakad belysning. Det aktuella kodförrådet tillhandahåller också en FLUX.2-gren för metallic–roughness med separata LoRA-vikter. Detta tillgängliga tillägg bör skiljas från huvudartikelns albedo-benchmark, där UltraTex renderas med fasta roughness- och metallic-värden. Tillgängliga materialutdata; utvärderingsinställningar.

Den 6 november 2026 var tränings- och inferenskoden samt instruktioner för nedladdning av vikter offentliga. Kodförrådet stöder varianterna FLUX.1-dev och FLUX.2-Klein, som var och en kräver motsvarande filer för backbone, LoRA och avkodare. Den testade miljön använder Python 3.12, CUDA 12.4 och PyTorch 2.5.1. Den här artikeln granskar artikeln och implementeringen; den gör inte anspråk på en oberoende reproduktion av kvalitet eller hastighet. Officiellt kodförråd.

Författarna identifierar svårigheter med mycket repetitiva texturer och detaljförlust från den förtränade VAEs komprimerade representation. Deras angivna riktning för skalning till 4K eller 8K är att omdesigna DiT–VAE-grundmodeller som har inbyggt stöd för dessa upplösningar, eftersom det befintliga FLUX-backbone-nätverket är bättre anpassat till indata på ungefär 1K–2K. Detta är fortfarande begränsningar och forskningsriktningar, inte släppta högupplösta funktioner. Artikel, begränsningar.