UltraTex：釋放 2K 多視圖擴散技術，打造 3D 紋理

重點與成果：更多細節，更少浪費的運算資源

原始論文： ​UltraTex：釋放 2K 多視角擴散模型的 3D 紋理能力

UltraTex 使用參考影像，為現有的 3D 網格生成詳細紋理。 這項 SIGGRAPH Asia 2026 專案旨在解決一個常見瓶頸：以 512 或 768 解析度進行多視角紋理生成時，會遺失細緻圖案與表面細節。UltraTex 將生成視角提升至 2048 × 2048，將運算集中於物件前景。其核心貢獻是透過協調調整權杖處理、注意力機制與解碼流程，讓高解析度多視角擴散變得實用。官方專案。

在 100 個保留測試的 TexVerse 物件上，UltraTex 報告 ​未著色 LPIPS 為 0.082，相較之下 LumiTex 為 0.138​，數值越低代表感知上的一致性越高。在單張 H200 上，作者報告指出，對於前景佔比 10–30% 且保留 20% 注意力區塊的情況，相較於密集基線，訓練速度提升 20.6–91.1 倍，推論速度提升 22.3–74.6 倍。這些結果取決於配置，並非每個資產或完整生產流程都能固定獲得相同加速。論文、實驗。

運作方式：從參考影像到紋理表面

此流程首先從輸入網格渲染六張法線圖：四個側視圖、一個頂視圖與一個底視圖。VAE 將幾何引導資訊與參考影像編碼為潛在表示。接著，預訓練的 FLUX 擴散 Transformer 透過流匹配生成六個對應的紋理視圖；論文的完整流程會將這些視圖重新投影至網格上。在 2K 解析度下，六個目標視圖、六個幾何視圖與一張參考影像合計產生 ​212,992 個影像權杖​，這說明密集處理為何成本高昂。流程；權杖成本說明。

背景權杖丟棄會在 Transformer 區塊處理前移除物件外部的影像權杖。遮罩會識別保留的位置，同時保留相應的原始旋轉位置嵌入（RoPE）。序列因此變短，但不會遺失空間座標。這能降低整個骨幹網路的工作量，包括前饋層。在釋出的取樣器中，Euler 更新只會修改選定的前景位置；背景雜訊會維持不變，直到解碼準備階段才處理。權杖選擇；取樣實作。

區塊稀疏注意力降低剩餘權杖之間互動的成本。此實作會在區塊內平均查詢與鍵特徵，估算其相關性，並為每個查詢區塊選取得分最高的鍵區塊。接著，注意力機制會使用所選區塊內的原始權杖特徵。FLUX.1 配置保留 20% 的鍵區塊：在不降低影像解析度的情況下，避免大量互動。區塊選擇；注意力配置。

具前景感知能力的 ​VAE​​ 解碼處理跳過背景去噪所造成的後果。將乾淨前景與帶雜訊背景結合可能會破壞重建結果。UltraTex 會以從純黑影像編碼而來的潛在表示取代背景，然後使用針對此複合輸入調整過的解碼器。編碼器保持凍結；解碼器訓練僅針對前景像素最小化重建誤差。解碼後，釋出的推論腳本會儲存多視角影像。要將這些輸出整合至網格資產中，仍需要重新投影或烘焙步驟。解碼器訓練；推論輸出。

其資料基礎是 ​G-buffer TexVerse​。公開版本涵蓋 351,847 個 BSDF 資產，而 UltraTex 使用經過篩選的 268,365 個資產訓練子集。渲染結果提供法線、座標、反照率，以及可用的材質通道，解析度最高可達 4096 × 4096。這項資料解析度應與 UltraTex 展示的 2K 生成能力區分開來。資料集說明。

應用、可用性與未來方向

UltraTex 針對資產製作的外觀階段：為現有的角色、道具與物件幾何提供詳細的表面紋理。預設輸出為 ​反照率​，代表未烘焙光照的表面色彩。目前的儲存庫也提供 FLUX.2 金屬度–粗糙度分支，並搭配獨立的 LoRA 權重。這項可用的擴充功能應與主論文的反照率基準區分開來；主論文使用固定的粗糙度與金屬度數值渲染 UltraTex。可用的材質輸出；評估設定。

截至 2026 年 11 月 6 日確認，訓練與推論程式碼以及權重下載說明均已公開。此儲存庫支援 FLUX.1-dev 與 FLUX.2-Klein 變體，每個變體都需要相匹配的骨幹、LoRA 與解碼器檔案。其測試環境使用 Python 3.12、CUDA 12.4 與 PyTorch 2.5.1。本文回顧該論文與實作；不宣稱進行了獨立的品質或速度重現。官方儲存庫。

作者指出，高度重複的紋理，以及預訓練 VAE 的壓縮表示造成的細節遺失，都是目前的困難。他們提出的 4K 或 8K 擴展方向，是重新設計原生支援這些解析度的 DiT–VAE 基礎模型，因為現有的 FLUX 骨幹更適合約 1K–2K 的輸入。這些仍屬於限制與研究方向，而不是已釋出的高解析度能力。論文、限制。