UltraTex: Khai phá mô hình khuếch tán đa góc nhìn 2K cho tạo họa tiết 3D

Điểm nổi bật và kết quả: Chi tiết hơn, ít tính toán bị lãng phí hơn

Bài báo gốc: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex tạo texture chi tiết cho một mesh 3D có sẵn bằng hình ảnh tham chiếu. Được giới thiệu dưới dạng một dự án SIGGRAPH Asia 2026, công trình này giải quyết một điểm nghẽn phổ biến: texture đa góc nhìn ở độ phân giải 512 hoặc 768 làm mất các họa tiết nhỏ và chi tiết bề mặt. UltraTex nâng các góc nhìn được tạo lên 2048 × 2048 bằng cách tập trung tính toán vào phần tiền cảnh của đối tượng. Đóng góp cốt lõi của công trình là giúp diffusion đa góc nhìn độ phân giải cao trở nên khả thi thông qua những thay đổi phối hợp trong xử lý token, attention và giải mã. Dự án chính thức.

Trên 100 đối tượng TexVerse được giữ lại để đánh giá, UltraTex báo cáo ​LPIPS không tô bóng là 0.082 so với 0.138 của LumiTex​, trong đó giá trị thấp hơn cho thấy mức độ tương đồng cảm nhận gần hơn. Trên một H200 duy nhất, các tác giả báo cáo tăng tốc 20.6–91.1× khi huấn luyện và 22.3–74.6× khi suy luận so với baseline dày đặc, với tỷ lệ tiền cảnh chiếm 10–30% và giữ lại 20% các khối attention. Đây là các kết quả phụ thuộc cấu hình, không phải mức tăng tốc cố định cho mọi asset hoặc quy trình sản xuất hoàn chỉnh. Bài báo, thí nghiệm.

Cách hoạt động: Từ hình ảnh tham chiếu đến bề mặt có texture

Pipeline trước tiên render sáu normal map từ mesh đầu vào: bốn góc nhìn bên, một góc nhìn từ trên và một góc nhìn từ dưới. VAE mã hóa thông tin hướng dẫn hình học và hình ảnh tham chiếu thành các latent. Sau đó, một transformer diffusion FLUX được huấn luyện trước tạo sáu góc nhìn texture tương ứng thông qua flow matching; pipeline đầy đủ của bài báo chiếu lại chúng lên mesh. Ở độ phân giải 2K, sáu góc nhìn mục tiêu, sáu góc nhìn hình học và một hình ảnh tham chiếu đóng góp ​212,992 token hình ảnh​, giải thích vì sao xử lý dày đặc trở nên tốn kém. Pipeline; giải thích chi phí token.

Background Token Dropping loại bỏ các token hình ảnh bên ngoài đối tượng trước các khối transformer. Các mask xác định những vị trí được giữ lại, trong khi các positional embedding xoay (RoPE) gốc tương ứng vẫn được gắn kèm. Chuỗi trở nên ngắn hơn mà không làm mất tọa độ không gian. Điều này giúp giảm công việc xuyên suốt backbone, bao gồm cả các lớp feed-forward. Trong sampler được phát hành, các cập nhật Euler chỉ sửa đổi những vị trí tiền cảnh được chọn; nhiễu nền được giữ nguyên cho đến khi chuẩn bị giải mã. Chọn token; triển khai sampling.

Block-Sparse Attention giảm chi phí tương tác giữa các token còn lại. Phần triển khai lấy trung bình các đặc trưng query và key trong từng khối, ước tính mức độ liên quan của chúng, rồi chọn các khối key có điểm cao nhất cho mỗi khối query. Sau đó, attention sử dụng các đặc trưng token gốc bên trong những khối được chọn đó. Cấu hình FLUX.1 giữ lại 20% các khối key: phương pháp này tránh được nhiều tương tác mà không làm giảm độ phân giải hình ảnh. Chọn khối; cấu hình attention.

Giải mã ​VAE​ nhận biết tiền cảnh xử lý hệ quả của việc bỏ qua khử nhiễu nền. Việc kết hợp tiền cảnh sạch với nền nhiễu có thể làm hỏng quá trình tái tạo. UltraTex thay nền bằng latent được mã hóa từ một hình ảnh đen đồng nhất, sau đó sử dụng một decoder được điều chỉnh cho ảnh tổng hợp này. Encoder được giữ cố định; quá trình huấn luyện decoder tối thiểu hóa sai số tái tạo chỉ trên các pixel tiền cảnh. Sau khi giải mã, các script suy luận được phát hành sẽ lưu ảnh đa góc nhìn. Việc tích hợp các đầu ra đó vào một asset mesh vẫn cần bước chiếu lại hoặc baking. Huấn luyện decoder; đầu ra suy luận.

Nền tảng dữ liệu là ​G-buffer TexVerse​. Bản phát hành công khai bao gồm 351,847 asset BSDF, trong khi UltraTex sử dụng một tập con huấn luyện đã lọc gồm 268,365 asset. Các bản render cung cấp normal, tọa độ, albedo và những kênh vật liệu khả dụng ở độ phân giải lên đến 4096 × 4096. Cần phân biệt độ phân giải dữ liệu này với khả năng tạo ảnh 2K được UltraTex trình diễn. Mô tả dataset.

Ứng dụng, khả năng cung cấp và hướng phát triển tương lai

UltraTex nhắm đến giai đoạn tạo diện mạo của asset: cung cấp texture bề mặt chi tiết cho hình học nhân vật, đạo cụ và đối tượng có sẵn. Đầu ra mặc định là ​albedo​, biểu thị màu bề mặt không bao gồm ánh sáng được bake sẵn. Repository hiện tại cũng cung cấp một nhánh FLUX.2 metallic–roughness với các trọng số LoRA riêng. Phần mở rộng khả dụng này cần được phân biệt với benchmark albedo chính của bài báo, trong đó UltraTex render với các giá trị roughness và metallic cố định. Đầu ra vật liệu khả dụng; thiết lập đánh giá.

Tính đến ngày 6 tháng 11 năm 2026, mã nguồn huấn luyện, suy luận và hướng dẫn tải trọng số đều được công khai. Repository hỗ trợ các biến thể FLUX.1-dev và FLUX.2-Klein, mỗi biến thể yêu cầu các tệp backbone, LoRA và decoder tương ứng. Môi trường đã được kiểm thử sử dụng Python 3.12, CUDA 12.4 và PyTorch 2.5.1. Bài viết này đánh giá bài báo và phần triển khai; không tuyên bố tái lập độc lập về chất lượng hoặc tốc độ. Repository chính thức.

Các tác giả chỉ ra khó khăn với những texture có tính lặp lại cao và tình trạng mất chi tiết do biểu diễn nén của VAE được huấn luyện trước. Hướng đi được nêu để mở rộng lên 4K hoặc 8K là thiết kế lại các foundation model DiT–VAE hỗ trợ tự nhiên những độ phân giải đó, vì backbone FLUX hiện tại phù hợp hơn với đầu vào khoảng 1K–2K. Đây vẫn là những hạn chế và hướng nghiên cứu, không phải khả năng độ phân giải cao đã được phát hành. Bài báo, hạn chế.