UltraTex: Liberando la difusión multivista 2K para texturizado 3D

Aspectos destacados y resultados: más detalle, menos cómputo desperdiciado

Artículo original: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex genera texturas detalladas para una malla 3D existente mediante una imagen de referencia. Presentado como un proyecto de SIGGRAPH Asia 2026, aborda un cuello de botella común: el texturizado multivista a una resolución de 512 o 768 pierde patrones finos y detalles de la superficie. UltraTex eleva las vistas generadas a 2048 × 2048 al concentrar el cómputo en el primer plano del objeto. Su contribución central consiste en hacer práctico el proceso de difusión multivista de alta resolución mediante cambios coordinados en el procesamiento de tokens, la atención y la decodificación. Proyecto oficial.

En 100 objetos TexVerse reservados para evaluación, UltraTex informa un LPIPS sin sombreado de 0.082 frente a 0.138 de LumiTex​, donde un valor menor indica una mayor coincidencia perceptual. En una única H200, los autores informan aceleraciones de 20.6–91.1× en el entrenamiento y de 22.3–74.6× en la inferencia frente a la línea base densa, con una ocupación del primer plano del 10–30 % y una retención del 20 % de los bloques de atención. Estos resultados dependen de la configuración y no representan una aceleración fija para cada recurso o flujo de trabajo de producción completo. Artículo, experimentos.

Cómo funciona: de la imagen de referencia a la superficie texturizada

La canalización primero renderiza seis mapas de normales a partir de la malla de entrada: cuatro vistas laterales, una vista superior y una vista inferior. Un VAE codifica la guía geométrica y la imagen de referencia en representaciones latentes. A continuación, un transformador de difusión FLUX preentrenado genera seis vistas de textura correspondientes mediante flow matching; la canalización completa del artículo las reproyecta sobre la malla. En 2K, seis vistas objetivo, seis vistas geométricas y una referencia aportan ​212,992 tokens de imagen​, lo que explica por qué el procesamiento denso resulta costoso. Canalización; explicación del coste de tokens.

Background Token Dropping elimina los tokens de imagen situados fuera del objeto antes de los bloques del transformador. Las máscaras identifican las posiciones retenidas, mientras que las incrustaciones posicionales rotatorias (RoPE) originales correspondientes permanecen asociadas. La secuencia se acorta sin perder sus coordenadas espaciales. Esto reduce el trabajo en todo el backbone, incluidas las capas feed-forward. En el sampler publicado, las actualizaciones de Euler modifican únicamente las posiciones seleccionadas del primer plano; el ruido del fondo permanece intacto hasta la preparación de la decodificación. Selección de tokens; implementación del muestreo.

Block-Sparse Attention reduce el coste de las interacciones entre los tokens restantes. La implementación promedia las características de consulta y clave dentro de los bloques, estima su relevancia y selecciona los bloques de clave con mayor puntuación para cada bloque de consulta. A continuación, la atención utiliza las características originales de los tokens dentro de esos bloques seleccionados. La configuración de FLUX.1 conserva el 20 % de los bloques de clave: evita muchas interacciones sin reducir la resolución de la imagen. Selección de bloques; configuración de la atención.

Foreground-Aware ​VAE​​ Decoding aborda la consecuencia de omitir el proceso de eliminación de ruido del fondo. Combinar un primer plano limpio con un fondo ruidoso puede corromper la reconstrucción. UltraTex reemplaza el fondo por una representación latente codificada a partir de una imagen completamente negra y, a continuación, utiliza un decodificador adaptado a esta composición. El codificador permanece congelado; el entrenamiento del decodificador minimiza el error de reconstrucción únicamente en los píxeles del primer plano. Tras la decodificación, los scripts de inferencia publicados guardan imágenes multivista. La integración de esas salidas en un recurso de malla aún requiere el paso de reproyección o baking. Entrenamiento del decodificador; salidas de inferencia.

La base de datos es ​G-buffer TexVerse​. Su versión pública incluye 351,847 recursos BSDF, mientras que UltraTex utiliza un subconjunto de entrenamiento filtrado de 268,365 recursos. Los renderizados proporcionan normales, coordenadas, albedo y los canales de material disponibles a una resolución de hasta 4096 × 4096. Esta resolución de los datos debe distinguirse de la generación demostrada de 2K de UltraTex. Descripción del conjunto de datos.

Aplicaciones, disponibilidad y direcciones futuras

UltraTex está dirigido a la etapa de apariencia de la creación de recursos: proporcionar texturas de superficie detalladas para geometría existente de personajes, props y objetos. La salida predeterminada es ​albedo​, que representa el color de la superficie sin iluminación incorporada. El repositorio actual también proporciona una rama FLUX.2 de metálico–rugosidad con pesos LoRA separados. Esta extensión disponible debe distinguirse del benchmark de albedo principal del artículo, en el que UltraTex renderiza con valores fijos de rugosidad y metálico. Salidas de materiales disponibles; configuración de evaluación.

Según la comprobación realizada el 6 de noviembre de 2026, el código de entrenamiento e inferencia y las instrucciones para descargar los pesos son públicos. El repositorio admite las variantes FLUX.1-dev y FLUX.2-Klein, cada una de las cuales requiere archivos correspondientes del backbone, LoRA y decodificador. El entorno probado utiliza Python 3.12, CUDA 12.4 y PyTorch 2.5.1. Este artículo revisa el trabajo y la implementación; no afirma una reproducción independiente de la calidad o la velocidad. Repositorio oficial.

Los autores señalan dificultades con las texturas muy repetitivas y la pérdida de detalles derivada de la representación comprimida del VAE preentrenado. Su dirección declarada para escalar a 4K u 8K consiste en rediseñar modelos fundacionales DiT–VAE que admitan esas resoluciones de forma nativa, ya que el backbone FLUX existente se adapta mejor a entradas de aproximadamente 1K–2K. Estas siguen siendo limitaciones y direcciones de investigación, no capacidades de alta resolución publicadas. Artículo, limitaciones.