UltraTex: Potenciar a Difusão Multi-Vista 2K para Texturização 3D

Destaques e resultados: mais detalhe, menos computação desperdiçada

Artigo original: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

O UltraTex gera texturas detalhadas para uma malha 3D existente usando uma imagem de referência. Apresentado como um projeto da SIGGRAPH Asia 2026, aborda um obstáculo comum: a texturização multivista a uma resolução de 512 ou 768 perde padrões finos e detalhes da superfície. O UltraTex aumenta as vistas geradas para 2048 × 2048, concentrando a computação no primeiro plano do objeto. A sua contribuição central consiste em tornar prática a difusão multivista de alta resolução através de alterações coordenadas no processamento de tokens, na atenção e na descodificação. Projeto oficial.

Em 100 objetos TexVerse reservados para teste, o UltraTex indica ​LPIPS não sombreado de 0.082 contra 0.138 do LumiTex​, sendo que um valor mais baixo indica uma maior concordância percetual. Num único H200, os autores indicam acelerações de 20.6–91.1× no treino e de 22.3–74.6× na inferência em relação à linha de base densa, para uma ocupação do primeiro plano de 10–30% e uma retenção de 20% dos blocos de atenção. Estes são resultados dependentes da configuração, não uma aceleração fixa para todos os recursos ou para um fluxo de trabalho de produção completo. Artigo, experiências.

Como funciona: da imagem de referência à superfície texturizada

O pipeline começa por renderizar seis mapas de normais a partir da malha de entrada: quatro vistas laterais, uma vista superior e uma vista inferior. Um VAE codifica a orientação geométrica e a imagem de referência em latentes. Um transformador de difusão FLUX pré-treinado gera então seis vistas de textura correspondentes através de flow matching; o pipeline completo do artigo reprojeta-as na malha. A 2K, seis vistas-alvo, seis vistas geométricas e uma referência contribuem com ​212,992 tokens de imagem​, explicando por que motivo o processamento denso se torna dispendioso. Pipeline; explicação do custo dos tokens.

A remoção de tokens de fundo elimina os tokens de imagem que estão fora do objeto antes dos blocos do transformador. As máscaras identificam as posições mantidas, enquanto os embeddings posicionais rotativos (RoPE) originais correspondentes permanecem associados. A sequência torna-se mais curta sem perder as suas coordenadas espaciais. Isto reduz o trabalho em todo o backbone, incluindo as camadas feed-forward. No sampler disponibilizado, as atualizações de Euler modificam apenas as posições selecionadas do primeiro plano; o ruído de fundo permanece inalterado até à preparação da descodificação. Seleção de tokens; implementação da amostragem.

A atenção esparsa por blocos reduz o custo das interações entre os tokens restantes. A implementação calcula a média das características de query e key dentro dos blocos, estima a sua relevância e seleciona os blocos de keys com a pontuação mais elevada para cada bloco de queries. A atenção utiliza então as características originais dos tokens dentro desses blocos selecionados. A configuração do FLUX.1 mantém 20% dos blocos de keys: evita muitas interações sem reduzir a resolução da imagem. Seleção de blocos; configuração da atenção.

A descodificação ​do VAE​​​ sensível ao primeiro plano aborda a consequência de ignorar a remoção de ruído do fundo. A combinação de um primeiro plano limpo com um fundo ruidoso pode corromper a reconstrução. O UltraTex substitui o fundo por um latente codificado a partir de uma imagem totalmente preta e utiliza depois um descodificador adaptado a este composto. O codificador permanece congelado; o treino do descodificador minimiza o erro de reconstrução apenas nos píxeis do primeiro plano. Após a descodificação, os scripts de inferência disponibilizados guardam imagens multivista. A integração desses resultados num recurso de malha continua a exigir a etapa de reprojeção ou baking. Treino do descodificador; resultados da inferência.

A base de dados é o ​G-buffer TexVerse​. O seu lançamento público abrange 351,847 recursos BSDF, enquanto o UltraTex utiliza um subconjunto de treino filtrado com 268,365 recursos. As renderizações fornecem normais, coordenadas, albedo e canais de materiais disponíveis até 4096 × 4096. Esta resolução dos dados deve ser distinguida da geração demonstrada de 2K do UltraTex. Descrição do conjunto de dados.

Aplicações, disponibilidade e direções futuras

O UltraTex destina-se à fase de aparência da criação de recursos: fornecer texturas de superfície detalhadas para geometrias existentes de personagens, adereços e objetos. A saída predefinida é ​albedo​, que representa a cor da superfície sem iluminação incorporada. O repositório atual também fornece uma variante FLUX.2 de metálico–rugosidade com pesos LoRA separados. Esta extensão disponível deve ser distinguida do benchmark de albedo principal do artigo, que renderiza o UltraTex com valores fixos de rugosidade e metálico. Saídas de materiais disponíveis; definições de avaliação.

À data de 6 de novembro de 2026, o código de treino e inferência e as instruções para descarregar os pesos são públicos. O repositório suporta as variantes FLUX.1-dev e FLUX.2-Klein, exigindo cada uma ficheiros correspondentes do backbone, LoRA e descodificador. O ambiente testado utiliza Python 3.12, CUDA 12.4 e PyTorch 2.5.1. Este artigo analisa o artigo e a implementação; não reivindica uma reprodução independente da qualidade ou da velocidade. Repositório oficial.

Os autores identificam dificuldades com texturas altamente repetitivas e perda de detalhe resultante da representação comprimida do VAE pré-treinado. A direção indicada para escalar para 4K ou 8K consiste em redesenhar modelos fundacionais DiT–VAE que suportem nativamente essas resoluções, uma vez que o backbone FLUX existente está mais ajustado a entradas de aproximadamente 1K–2K. Estas continuam a ser limitações e direções de investigação, não capacidades de alta resolução disponibilizadas. Artigo, limitações.