UltraTex：解锁用于 3D 纹理制作的 2K 多视图扩散

要点与结果：更多细节，更少计算浪费

原论文：​UltraTex：释放 2K 多视图扩散用于 3D 纹理制作

**UltraTex 使用参考图像为现有 3D 网格生成详细纹理。**作为 SIGGRAPH Asia 2026 项目，它解决了一个常见瓶颈：在 512 或 768 分辨率下进行多视图纹理制作会丢失精细图案和表面细节。UltraTex 通过将计算集中于物体前景，将生成视图提升至 2048 × 2048。其核心贡献是通过协调改进 token 处理、注意力机制和解码过程，使高分辨率多视图扩散变得切实可行。官方项目。

在 100 个留出的 TexVerse 对象上，UltraTex 报告的 ​无光照 LPIPS 为 0.082，而 LumiTex 为 0.138​，数值越低表示感知一致性越接近。在单张 H200 上，作者报告称，在前景占比为 10–30% 且保留 20% 注意力块的条件下，与密集基线相比，训练速度提升 20.6–91.1 倍，推理速度提升 22.3–74.6 倍。这些结果取决于具体配置，并不代表每个资产或完整生产工作流都能获得固定加速。论文，实验。

工作原理：从参考图像到纹理表面

该流程首先从输入网格渲染出六张法线图：四个侧视图、一张顶视图和一张底视图。VAE 将几何引导信息和参考图像编码为 latent。随后，预训练的 FLUX 扩散 Transformer 通过 flow matching 生成六个对应的纹理视图；论文的完整流程会将这些视图重新投影到网格上。在 2K 分辨率下，六个目标视图、六个几何视图和一个参考图像共贡献 ​212,992 个图像 token​，这解释了密集处理为何成本高昂。流程；token 成本说明。

背景 Token 丢弃会在进入 Transformer block 之前移除物体外部的图像 token。掩码用于识别保留的位置，同时保留对应的原始旋转位置嵌入（RoPE）。序列长度变短，但不会丢失其空间坐标。这会在整个骨干网络中节省计算，包括前馈层。在发布的采样器中，Euler 更新仅修改选定的前景位置；背景噪声会一直保持不变，直到解码准备阶段。Token 选择；采样实现。

块稀疏注意力降低了剩余 token 之间交互的成本。该实现会在 block 内对 query 和 key 特征进行平均，估计其相关性，并为每个 query block 选择得分最高的 key block。随后，注意力机制会使用这些选定 block 内的原始 token 特征。FLUX.1 配置保留 20% 的 key block：它在不降低图像分辨率的情况下，避免了大量交互。Block 选择；注意力配置。

前景感知 ​VAE​​ 解码解决了跳过背景去噪所带来的后果。将干净的前景与含噪背景结合可能会破坏重建结果。UltraTex 使用从纯黑图像编码得到的 latent 替换背景，然后使用针对这一复合输入调整过的解码器。编码器保持冻结；解码器训练仅在前景像素上最小化重建误差。解码后，发布的推理脚本会保存多视图图像。将这些输出整合到网格资产中，仍然需要重新投影或烘焙步骤。解码器训练；推理输出。

其数据基础是 ​G-buffer TexVerse​。公开版本涵盖 351,847 个 BSDF 资产，而 UltraTex 使用经过筛选的 268,365 个资产训练子集。渲染结果提供法线、坐标、反照率以及可用的材质通道，分辨率最高可达 4096 × 4096。应将这一数据分辨率与 UltraTex 展示的 2K 生成分开看待。数据集说明。

应用、可用性与未来方向

UltraTex 面向资产创建的外观阶段：为现有的角色、道具和物体几何体提供详细表面纹理。默认输出为 ​反照率​，表示不包含烘焙光照的表面颜色。当前仓库还提供 FLUX.2 金属度–粗糙度分支，并配有单独的 LoRA 权重。应将这一可用扩展与主论文的反照率基准区分开来，后者使用固定的粗糙度和金属度值渲染 UltraTex。可用材质输出；评估设置。

截至 2026 年 11 月 6 日核查时，训练和推理代码以及权重下载说明均已公开。该仓库支持 FLUX.1-dev 和 FLUX.2-Klein 变体，每个变体都需要相匹配的骨干网络、LoRA 和解码器文件。其经过测试的环境使用 Python 3.12、CUDA 12.4 和 PyTorch 2.5.1。本文评述论文和实现，不声称进行了独立的质量或速度复现。官方仓库。

作者指出，高度重复的纹理存在处理困难，同时预训练 VAE 的压缩表示会造成细节损失。他们提出的 ​扩展到 4K 或 8K​ 方向，是重新设计原生支持这些分辨率的 DiT–VAE 基础模型，因为现有 FLUX 骨干网络更适合约 1K–2K 的输入。这些仍是局限性和研究方向，而不是已经发布的高分辨率能力。论文，局限性。