UltraTex: 3B Doku Kaplama için 2K Çok Görünümlü Difüzyonun Gücünü Ortaya Çıkarma

Öne Çıkanlar ve Sonuçlar: Daha Fazla Ayrıntı, Daha Az Boşa Harcanan Hesaplama

Orijinal makale: ​UltraTex: 3D Doku Oluşturma için 2K Çoklu Görünüm Difüzyonunu Serbest Bırakma

UltraTex, bir referans görüntü kullanarak mevcut bir 3D ağ için ayrıntılı dokular oluşturur. SIGGRAPH Asia 2026 projesi olarak sunulan çalışma, yaygın bir darboğazı ele alır: 512 veya 768 çözünürlükte çoklu görünüm dokulama, ince desenleri ve yüzey ayrıntılarını kaybeder. UltraTex, hesaplamayı nesnenin ön planına yoğunlaştırarak oluşturulan görünümleri 2048 × 2048 çözünürlüğe çıkarır. Temel katkısı, belirteç işleme, attention ve kod çözme işlemlerinde koordineli değişiklikler yoluyla yüksek çözünürlüklü çoklu görünüm difüzyonunu pratik hâle getirmektir. Resmî proje.

100 ayrılmış TexVerse nesnesinde UltraTex, daha düşük değerin daha yakın algısal uyumu gösterdiği durumda, LumiTex’in 0.138 değerine karşı 0.082 gölgelendirilmemiş LPIPS bildirir. Yazarlar tek bir H200 üzerinde, %20 attention bloğu tutulumu ve %10–30 ön plan doluluğu için yoğun taban çizgisine kıyasla 20,6–91,1× eğitim ve 22,3–74,6× çıkarım hızlanması bildirmektedir. Bunlar yapılandırmaya bağlı sonuçlardır; her varlık veya eksiksiz üretim iş akışı için sabit bir hızlanma değildir. Makale, deneyler.

Nasıl Çalışır: Referans Görüntüden Dokulu Yüzeye

İşlem hattı önce giriş ağından altı normal haritası oluşturur: dört yan görünüm, bir üst görünüm ve bir alt görünüm. Bir VAE, geometri yönlendirmesini ve referans görüntüsünü latent temsillere kodlar. Önceden eğitilmiş bir FLUX difüzyon transformatörü, flow matching aracılığıyla karşılık gelen altı doku görünümü oluşturur; makalenin eksiksiz işlem hattı bunları yeniden ağ üzerine projekte eder. 2K çözünürlükte altı hedef görünüm, altı geometri görünümü ve bir referans, 212.992 görüntü belirtecine katkıda bulunur; bu da yoğun işlemenin neden pahalı olduğunu açıklar. İşlem hattı; belirteç maliyeti açıklaması.

Arka Plan Belirteci Bırakma, transformatör bloklarından önce nesnenin dışındaki görüntü belirteçlerini kaldırır. Maskeler tutulan konumları belirlerken karşılık gelen özgün döner konumsal gömmeler (RoPE) bağlı kalır. Dizi, uzamsal koordinatlarını kaybetmeden kısalır. Bu, ileri beslemeli katmanlar dâhil olmak üzere omurga boyunca iş yükünü azaltır. Yayınlanan örnekleyicide Euler güncellemeleri yalnızca seçili ön plan konumlarını değiştirir; arka plan gürültüsü kod çözme hazırlığına kadar değiştirilmeden bırakılır. Belirteç seçimi; örnekleme uygulaması.

Blok Seyrek Attention, kalan belirteçler arasındaki etkileşimlerin maliyetini azaltır. Uygulama, bloklar içindeki sorgu ve anahtar özelliklerinin ortalamasını alır, ilgililiklerini tahmin eder ve her sorgu bloğu için en yüksek skorlu anahtar bloklarını seçer. Attention daha sonra seçilen bloklar içindeki özgün belirteç özelliklerini kullanır. FLUX.1 yapılandırması, anahtar bloklarının %20’sini tutar: görüntü çözünürlüğünü azaltmadan birçok etkileşimi önler. Blok seçimi; attention yapılandırması.

Ön Plan Farkındalıklı ​VAE​​ Kod Çözme, arka plan gürültü giderme işleminin atlanmasının sonucunu ele alır. Temiz bir ön planın gürültülü bir arka planla birleştirilmesi yeniden oluşturmayı bozabilir. UltraTex, arka planı düz siyah bir görüntüden kodlanmış latent temsille değiştirir ve ardından bu bileşime uyarlanmış bir kod çözücü kullanır. Kodlayıcı dondurulmuş kalır; kod çözücü eğitimi yeniden oluşturma hatasını yalnızca ön plan piksellerinde en aza indirir. Kod çözme sonrasında yayınlanan çıkarım betikleri çoklu görünüm görüntülerini kaydeder. Bu çıktıları bir ağ varlığına entegre etmek yine de yeniden projeksiyon veya baking adımını gerektirir. Kod çözücü eğitimi; çıkarım çıktıları.

Veri temeli ​G-buffer TexVerse​’tür. Herkese açık sürüm 351.847 BSDF varlığını kapsarken UltraTex, filtrelenmiş 268.365 varlıklı bir eğitim alt kümesi kullanır. Oluşturulan görüntüler, 4096 × 4096’ya kadar çözünürlükte normal vektörler, koordinatlar, albedo ve mevcut malzeme kanallarını sağlar. Bu veri çözünürlüğü, UltraTex’in gösterilen 2K oluşturma kapasitesinden ayrı tutulmalıdır. Veri kümesi açıklaması.

Uygulamalar, Kullanılabilirlik ve Gelecek Yönelimleri

UltraTex, varlık oluşturmanın görünüm aşamasını hedefler: mevcut karakter, aksesuar ve nesne geometrisi için ayrıntılı yüzey dokuları sağlamak. Varsayılan çıktı, yerleşik aydınlatma olmadan yüzey rengini temsil eden ​albedo​’dur. Mevcut depo ayrıca ayrı LoRA ağırlıklarına sahip bir FLUX.2 metalik–pürüzlülük dalı sunar. Bu kullanılabilir genişletme, UltraTex’in sabit pürüzlülük ve metaliklik değerleriyle oluşturulduğu ana makalenin albedo kıyaslamasından ayrı değerlendirilmelidir. Kullanılabilir malzeme çıktıları; değerlendirme ayarları.

6 Kasım 2026 itibarıyla eğitim ve çıkarım kodu ile ağırlık indirme talimatları herkese açıktır. Depo, her biri uyumlu omurga, LoRA ve kod çözücü dosyaları gerektiren FLUX.1-dev ve FLUX.2-Klein varyantlarını destekler. Test edilen ortam Python 3.12, CUDA 12.4 ve PyTorch 2.5.1 kullanır. Bu makale, makaleyi ve uygulamayı inceler; bağımsız bir kalite veya hız yeniden üretimi iddiasında bulunmaz. Resmî depo.

Yazarlar, yüksek ölçüde tekrarlanan dokularla ilgili zorluğu ve önceden eğitilmiş VAE’nin sıkıştırılmış temsilinden kaynaklanan ayrıntı kaybını belirtir. 4K veya 8K çözünürlüğe ölçeklendirme için ifade ettikleri yön, bu çözünürlükleri doğal olarak destekleyen DiT–VAE temel modellerini yeniden tasarlamaktır; çünkü mevcut FLUX omurgası yaklaşık 1K–2K girdilerle daha iyi eşleşir. Bunlar, yayınlanmış yüksek çözünürlüklü yetenekler değil, mevcut sınırlamalar ve araştırma yönleridir. Makale, sınırlamalar.