UltraTex: 2K Multi-View Diffusion voor 3D-texturering ontketend

Hoogtepunten en resultaten: meer detail, minder verspilde rekenkracht

Oorspronkelijk artikel: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex genereert gedetailleerde texturen voor een bestaande 3D-mesh met behulp van een referentieafbeelding. Het project, gepresenteerd als SIGGRAPH Asia 2026-project, pakt een veelvoorkomende bottleneck aan: multi-view-texturing op een resolutie van 512 of 768 verliest fijne patronen en oppervlaktedetails. UltraTex verhoogt de gegenereerde weergaven naar 2048 × 2048 door de berekening te concentreren op de voorgrond van het object. De belangrijkste bijdrage is het praktisch maken van high-resolution multi-view-diffusion door gecoördineerde wijzigingen in tokenverwerking, attention en decoding. Officieel project.

Op 100 achtergehouden TexVerse-objecten rapporteert UltraTex ​unshaded LPIPS van 0.082 tegenover 0.138 voor LumiTex​, waarbij een lagere waarde wijst op een grotere perceptuele overeenkomst. Op één H200 rapporteren de auteurs 20.6–91.1× versnelling bij training en 22.3–74.6× bij inferentie ten opzichte van de dense baseline bij een voorgrondbezetting van 10–30% en een behoud van 20% van de attention-blocks. Dit zijn configuratieafhankelijke resultaten, geen vaste versnelling voor elk asset of elke volledige productie-workflow. Artikel, experimenten.

Hoe het werkt: van referentieafbeelding naar getextureerd oppervlak

De pipeline rendert eerst zes normal maps van de invoermesh: vier zijaanzichten, een bovenaanzicht en een onderaanzicht. Een VAE codeert geometriebegeleiding en de referentieafbeelding naar latents. Een vooraf getrainde FLUX-diffusion-transformer genereert vervolgens zes overeenkomstige texture views via flow matching; de volledige pipeline uit het artikel projecteert deze opnieuw op de mesh. Op 2K dragen zes doelweergaven, zes geometrieweergaven en één referentie samen ​212,992 image tokens​ bij, wat verklaart waarom dense verwerking duur wordt. Pipeline; uitleg van tokenkosten.

Background Token Dropping verwijdert image tokens buiten het object vóór de transformerblokken. Masks identificeren de behouden posities, terwijl de overeenkomstige oorspronkelijke rotary positional embeddings (RoPE) eraan gekoppeld blijven. De sequentie wordt korter zonder de ruimtelijke coördinaten te verliezen. Dit bespaart werk in de hele backbone, inclusief feed-forwardlagen. In de vrijgegeven sampler wijzigen Euler-updates alleen geselecteerde voorgrondposities; achtergrondruis blijft onaangeroerd tot de voorbereiding voor decoding. Tokenselectie; implementatie van sampling.

Block-Sparse Attention verlaagt de kosten van interacties tussen de resterende tokens. De implementatie neemt binnen blocks het gemiddelde van query- en key-features, schat hun relevantie in en selecteert voor elk query-block de key-blocks met de hoogste scores. Attention gebruikt vervolgens de oorspronkelijke token-features binnen die geselecteerde blocks. De FLUX.1-configuratie behoudt 20% van de key-blocks: zo worden veel interacties vermeden zonder de beeldresolutie te verlagen. Blockselectie; attentionconfiguratie.

Foreground-Aware ​VAE​​ Decoding adresseert het gevolg van het overslaan van denoising op de achtergrond. Het combineren van een schone voorgrond met een ruisende achtergrond kan de reconstructie verstoren. UltraTex vervangt de achtergrond door een latent dat is gecodeerd uit een volledig zwarte afbeelding en gebruikt vervolgens een decoder die op deze compositie is aangepast. De encoder blijft bevroren; bij decodertraining wordt de reconstructiefout alleen op voorgrondpixels geminimaliseerd. Na decoding slaan de vrijgegeven inferentiescripts multi-viewafbeeldingen op. Het integreren van deze outputs in een mesh-asset vereist nog steeds de reprojection- of bakingstap. Decodertraining; inferentie-output.

De databasis is ​G-buffer TexVerse​. De publieke release omvat 351,847 BSDF-assets, terwijl UltraTex een gefilterde trainingssubset van 268,365 assets gebruikt. Renderingen leveren normals, coördinaten, albedo en beschikbare materiaalkanalen op tot maximaal 4096 × 4096. Deze dataresolutie moet worden onderscheiden van de door UltraTex gedemonstreerde 2K-generatie. Datasetbeschrijving.

Toepassingen, beschikbaarheid en toekomstige richtingen

UltraTex richt zich op de appearance-fase van assetcreatie: het leveren van gedetailleerde oppervlaktetexturen voor bestaande character-, prop- en objectgeometrie. De standaardoutput is ​albedo​, die oppervlaktekleur zonder ingebakken belichting weergeeft. De huidige repository bevat ook een FLUX.2 metallic–roughness-branch met afzonderlijke LoRA-gewichten. Deze beschikbare uitbreiding moet worden onderscheiden van de albedo-benchmark in het hoofdartikel, waarin UltraTex wordt gerenderd met vaste roughness- en metallicwaarden. Beschikbare materiaaloutputs; evaluatie-instellingen.

Zoals gecontroleerd op 6 november 2026 zijn de code voor training en inferentie en de instructies voor het downloaden van gewichten publiek beschikbaar. De repository ondersteunt FLUX.1-dev- en FLUX.2-Klein-varianten, die elk overeenkomende backbone-, LoRA- en decoderbestanden vereisen. De geteste omgeving gebruikt Python 3.12, CUDA 12.4 en PyTorch 2.5.1. Dit artikel bespreekt het artikel en de implementatie; het claimt geen onafhankelijke reproductie van kwaliteit of snelheid. Officiële repository.

De auteurs wijzen op problemen met sterk repetitieve texturen en detailverlies door de gecomprimeerde representatie van de vooraf getrainde VAE. Hun genoemde richting voor opschaling naar 4K of 8K is het herontwerpen van DiT–VAE-foundationmodellen die deze resoluties van nature ondersteunen, aangezien de bestaande FLUX-backbone beter aansluit bij invoer van ongeveer 1K–2K. Dit blijven beperkingen en onderzoeksrichtingen, geen vrijgegeven high-resolutionmogelijkheden. Artikel, beperkingen.