UltraTex: Desencadeando a Difusão Multivista em 2K para Texturização 3D

Destaques e resultados: mais detalhes, menos computação desperdiçada

Artigo original: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

O UltraTex gera texturas detalhadas para uma malha 3D existente usando uma imagem de referência. Apresentado como um projeto da SIGGRAPH Asia 2026, ele aborda um gargalo comum: a texturização multivista em resolução 512 ou 768 perde padrões finos e detalhes da superfície. O UltraTex aumenta as vistas geradas para 2048 × 2048 ao concentrar a computação no primeiro plano do objeto. Sua principal contribuição é tornar prática a difusão multivista de alta resolução por meio de mudanças coordenadas no processamento de tokens, na atenção e na decodificação. Projeto oficial.

Em 100 objetos TexVerse mantidos fora do treinamento, o UltraTex relata ​LPIPS não sombreado de 0.082 contra 0.138 do LumiTex​, em que valores menores indicam maior concordância perceptual. Em um único H200, os autores relatam acelerações de 20.6–91.1× no treinamento e de 22.3–74.6× na inferência em relação à linha de base densa, para ocupação do primeiro plano de 10–30% com retenção de 20% dos blocos de atenção. Esses são resultados dependentes da configuração, não uma aceleração fixa para cada ativo ou fluxo de produção completo. Artigo, experimentos.

Como funciona: da imagem de referência à superfície texturizada

O pipeline primeiro renderiza seis mapas de normais da malha de entrada: quatro vistas laterais, uma vista superior e uma vista inferior. Um VAE codifica a orientação geométrica e a imagem de referência em latentes. Um transformador de difusão FLUX pré-treinado então gera seis vistas de textura correspondentes por meio de flow matching; o pipeline completo do artigo as reprojeta na malha. Em 2K, seis vistas-alvo, seis vistas geométricas e uma referência contribuem com ​212,992 tokens de imagem​, explicando por que o processamento denso se torna caro. Pipeline; explicação do custo de tokens.

Background Token Dropping remove os tokens de imagem fora do objeto antes dos blocos do transformador. As máscaras identificam as posições mantidas, enquanto os embeddings posicionais rotativos originais (RoPE) correspondentes permanecem associados. A sequência fica mais curta sem perder suas coordenadas espaciais. Isso reduz o trabalho em todo o backbone, incluindo as camadas feed-forward. No sampler disponibilizado, as atualizações de Euler modificam apenas as posições selecionadas do primeiro plano; o ruído do plano de fundo permanece intocado até a preparação da decodificação. Seleção de tokens; implementação da amostragem.

Block-Sparse Attention reduz o custo das interações entre os tokens restantes. A implementação calcula a média dos recursos de consulta e chave dentro dos blocos, estima sua relevância e seleciona os blocos de chave com maior pontuação para cada bloco de consulta. A atenção então usa os recursos originais dos tokens dentro desses blocos selecionados. A configuração do FLUX.1 retém 20% dos blocos de chave: ela evita muitas interações sem reduzir a resolução da imagem. Seleção de blocos; configuração da atenção.

VAE ​ciente do primeiro plano​​ Decodificação aborda a consequência de ignorar a remoção de ruído do plano de fundo. Combinar um primeiro plano limpo com um plano de fundo ruidoso pode corromper a reconstrução. O UltraTex substitui o plano de fundo por um latente codificado a partir de uma imagem totalmente preta e então usa um decodificador adaptado a esse composto. O codificador permanece congelado; o treinamento do decodificador minimiza o erro de reconstrução apenas nos pixels do primeiro plano. Após a decodificação, os scripts de inferência disponibilizados salvam imagens multivista. A integração dessas saídas em um ativo de malha ainda exige a etapa de reprojeção ou baking. Treinamento do decodificador; saídas da inferência.

A base de dados é o ​G-buffer TexVerse​. Sua versão pública abrange 351,847 ativos BSDF, enquanto o UltraTex usa um subconjunto de treinamento filtrado com 268,365 ativos. As renderizações fornecem normais, coordenadas, albedo e canais de material disponíveis em até 4096 × 4096. Essa resolução dos dados deve ser distinguida da geração demonstrada de 2K do UltraTex. Descrição do conjunto de dados.

Aplicações, disponibilidade e direções futuras

O UltraTex tem como alvo a etapa de aparência da criação de ativos: fornecer texturas de superfície detalhadas para geometrias existentes de personagens, props e objetos. A saída padrão é ​albedo​, que representa a cor da superfície sem iluminação incorporada. O repositório atual também fornece uma versão FLUX.2 de metálico–rugosidade com pesos LoRA separados. Essa extensão disponível deve ser distinguida do benchmark de albedo principal do artigo, que renderiza o UltraTex com valores fixos de rugosidade e metálico. Saídas de materiais disponíveis; configurações de avaliação.

Em uma verificação realizada em 6 de novembro de 2026, o código de treinamento e inferência e as instruções para baixar os pesos eram públicos. O repositório oferece suporte às variantes FLUX.1-dev e FLUX.2-Klein, cada uma exigindo arquivos correspondentes de backbone, LoRA e decodificador. O ambiente testado usa Python 3.12, CUDA 12.4 e PyTorch 2.5.1. Este artigo analisa o trabalho e a implementação; ele não afirma uma reprodução independente de qualidade ou velocidade. Repositório oficial.

Os autores identificam dificuldades com texturas altamente repetitivas e perda de detalhes causada pela representação comprimida do VAE pré-treinado. A direção declarada para escalar para 4K ou 8K é reprojetar modelos fundamentais DiT–VAE que ofereçam suporte nativo a essas resoluções, já que o backbone FLUX existente é mais adequado a entradas de aproximadamente 1K–2K. Essas continuam sendo limitações e direções de pesquisa, não capacidades de alta resolução disponibilizadas. Artigo, limitações.