UltraTex: Memanfaatkan Diffusion Berbilang Pandangan 2K untuk Penteksturan 3D

Sorotan dan Hasil: Perincian Lebih Lanjut, Pengiraan yang Kurang Dibazirkan

Kertas asal: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex menjana tekstur terperinci untuk jejaring 3D sedia ada menggunakan imej rujukan. Dibentangkan sebagai projek SIGGRAPH Asia 2026, ia menangani kesesakan biasa: penteksturan berbilang pandangan pada resolusi 512 atau 768 kehilangan corak halus dan perincian permukaan. UltraTex meningkatkan pandangan yang dijana kepada 2048 × 2048 dengan menumpukan pengiraan pada latar depan objek. Sumbangan utamanya ialah menjadikan resapan berbilang pandangan beresolusi tinggi praktikal melalui perubahan terselaras pada pemprosesan token, perhatian dan penyahkodan. Projek rasmi.

Pada 100 objek TexVerse yang diketepikan untuk ujian, UltraTex melaporkan ​LPIPS tanpa lorekan sebanyak 0.082 berbanding 0.138 untuk LumiTex​, dengan nilai yang lebih rendah menunjukkan persetujuan persepsi yang lebih hampir. Pada satu H200, penulis melaporkan pecutan latihan sebanyak 20.6–91.1× dan pecutan inferens sebanyak 22.3–74.6× berbanding garis dasar padat untuk 10–30% penghunian latar depan dengan pengekalan blok perhatian sebanyak 20%. Ini ialah hasil yang bergantung pada konfigurasi, bukannya pecutan tetap untuk setiap aset atau aliran kerja pengeluaran yang lengkap. Kertas, eksperimen.

Cara Ia Berfungsi: Daripada Imej Rujukan kepada Permukaan Bertekstur

Saluran paip ini mula-mula merender enam peta normal daripada jejaring input: empat pandangan sisi, satu pandangan atas dan satu pandangan bawah. VAE mengekod panduan geometri dan imej rujukan kepada laten. Transformer resapan FLUX terlatih kemudian menjana enam pandangan tekstur yang sepadan melalui pemadanan aliran; saluran paip penuh kertas tersebut menayangkannya semula ke atas jejaring. Pada 2K, enam pandangan sasaran, enam pandangan geometri dan satu rujukan menyumbang ​212,992 token imej​, yang menjelaskan sebab pemprosesan padat menjadi mahal. Saluran paip; penjelasan kos token.

Pembuangan Token Latar Belakang membuang token imej di luar objek sebelum blok transformer. Topeng mengenal pasti kedudukan yang dikekalkan, manakala pembenaman kedudukan putaran asal (RoPE) yang sepadan kekal terikat padanya. Urutan menjadi lebih pendek tanpa kehilangan koordinat ruangnya. Ini menjimatkan kerja di seluruh tulang belakang, termasuk lapisan suapan hadapan. Dalam pensampel yang dikeluarkan, kemas kini Euler hanya mengubah kedudukan latar depan yang dipilih; hingar latar belakang dibiarkan tanpa perubahan sehingga penyediaan penyahkodan. Pemilihan token; pelaksanaan pensampelan.

Perhatian Jarang Berblok mengurangkan kos interaksi antara token yang selebihnya. Pelaksanaan ini mempuratakan ciri pertanyaan dan kunci dalam blok, menganggar perkaitannya dan memilih blok kunci dengan skor tertinggi bagi setiap blok pertanyaan. Perhatian kemudian menggunakan ciri token asal dalam blok yang dipilih tersebut. Konfigurasi FLUX.1 mengekalkan 20% blok kunci: ia mengelakkan banyak interaksi tanpa mengurangkan resolusi imej. Pemilihan blok; konfigurasi perhatian.

Penyahkodan ​VAE Sedar Latar Depan​**​ ** menangani akibat penyahbisingan latar belakang yang dilangkau. Menggabungkan latar depan yang bersih dengan latar belakang yang bising boleh merosakkan pembinaan semula. UltraTex menggantikan latar belakang dengan laten yang dikodkan daripada imej hitam padu, kemudian menggunakan penyahkod yang disesuaikan dengan komposit ini. Pengekod kekal dibekukan; latihan penyahkod meminimumkan ralat pembinaan semula hanya pada piksel latar depan. Selepas penyahkodan, skrip inferens yang dikeluarkan menyimpan imej berbilang pandangan. Mengintegrasikan output tersebut ke dalam aset jejaring masih memerlukan langkah penayangan semula atau pembakaran. Latihan penyahkod; output inferens.

Asas datanya ialah ​G-buffer TexVerse​. Keluaran awamnya merangkumi 351,847 aset BSDF, manakala UltraTex menggunakan subset latihan yang ditapis dengan 268,365 aset. Rendering menyediakan normal, koordinat, albedo dan saluran bahan yang tersedia sehingga 4096 × 4096. Resolusi data ini harus dibezakan daripada penjanaan 2K UltraTex yang ditunjukkan. Perihalan set data.

Aplikasi, Ketersediaan dan Hala Tuju Masa Hadapan

UltraTex menyasarkan peringkat penampilan penciptaan aset: membekalkan tekstur permukaan terperinci untuk geometri watak, prop dan objek sedia ada. Output lalai ialah ​albedo​, yang mewakili warna permukaan tanpa pencahayaan terbakar. Repositori semasa turut menyediakan cabang logam–kekasaran FLUX.2 dengan pemberat LoRA berasingan. Sambungan yang tersedia ini harus dibezakan daripada penanda aras albedo utama kertas tersebut, yang merender UltraTex dengan nilai kekasaran dan logam yang tetap. Output bahan yang tersedia; tetapan penilaian.

Setakat semakan pada 6 November 2026, kod latihan dan inferens serta arahan muat turun pemberat tersedia untuk umum. Repositori ini menyokong varian FLUX.1-dev dan FLUX.2-Klein, yang masing-masing memerlukan fail tulang belakang, LoRA dan penyahkod yang sepadan. Persekitaran yang diuji menggunakan Python 3.12, CUDA 12.4 dan PyTorch 2.5.1. Artikel ini mengulas kertas dan pelaksanaan tersebut; ia tidak mendakwa penghasilan semula kualiti atau kelajuan secara bebas. Repositori rasmi.

Penulis mengenal pasti kesukaran dengan tekstur yang sangat berulang serta kehilangan perincian daripada perwakilan termampat VAE terlatih. Hala tuju yang dinyatakan untuk penskalaan kepada 4K atau 8K ialah mereka bentuk semula model asas DiT–VAE yang menyokong resolusi tersebut secara semula jadi, kerana tulang belakang FLUX sedia ada lebih sepadan dengan input kira-kira 1K–2K. Ini kekal sebagai batasan dan hala tuju penyelidikan, bukannya keupayaan resolusi tinggi yang dikeluarkan. Kertas, batasan.