UltraTex: Розкриття потенціалу 2K-дифузії з кількох ракурсів для 3D-текстурування

Основні моменти та результати: більше деталей, менше марно витрачених обчислень

Оригінальна стаття: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex генерує деталізовані текстури для наявної 3D-сітки за допомогою референсного зображення. Представлений як проєкт SIGGRAPH Asia 2026, він розв’язує поширене вузьке місце: текстурування з кількох ракурсів із роздільною здатністю 512 або 768 втрачає дрібні візерунки та деталі поверхні. UltraTex підвищує роздільну здатність згенерованих ракурсів до 2048 × 2048, зосереджуючи обчислення на передньому плані об’єкта. Його ключовий внесок — зробити дифузію з кількох ракурсів у високій роздільній здатності практичною завдяки узгодженим змінам обробки токенів, механізму уваги та декодуванню. Офіційний проєкт.

На 100 відкладених об’єктах TexVerse UltraTex демонструє ​незатінений LPIPS на рівні 0.082 проти 0.138 у LumiTex​, де нижче значення означає кращу перцептивну відповідність. На одному H200 автори повідомляють про прискорення навчання у 20,6–91,1 раза та інференсу у 22,3–74,6 раза порівняно зі щільним базовим методом за зайнятості переднього плану 10–30% і збереження 20% блоків уваги. Це результати, що залежать від конфігурації, а не фіксоване прискорення для кожного ресурсу чи повного виробничого процесу. Стаття, експерименти.

Як це працює: від референсного зображення до текстурованої поверхні

Спочатку конвеєр рендерить шість карт нормалей із вхідної сітки: чотири бічні ракурси, верхній і нижній ракурси. VAE кодує геометричні дані та референсне зображення в латентні представлення. Попередньо навчений дифузійний трансформер FLUX потім генерує шість відповідних текстурних ракурсів за допомогою flow matching; повний конвеєр статті повторно проєктує їх на сітку. У режимі 2K шість цільових ракурсів, шість геометричних ракурсів і один референсний ракурс разом містять ​212 992 токени зображення​, що пояснює, чому щільна обробка стає дорогою. Конвеєр; пояснення вартості токенів.

Відкидання токенів фону видаляє токени зображення за межами об’єкта перед блоками трансформера. Маски визначають позиції, які зберігаються, а відповідні початкові обертові позиційні вкладення (RoPE) залишаються прикріпленими. Послідовність стає коротшою без втрати просторових координат. Це заощаджує обчислення в усій магістральній мережі, зокрема у повнозв’язних шарах. У випущеному семплері оновлення Euler змінюють лише вибрані позиції переднього плану; шум фону залишається недоторканим до підготовки декодування. Вибір токенів; реалізація семплінгу.

Розріджена увага за блоками зменшує вартість взаємодій між токенами, що залишилися. Реалізація усереднює ознаки запитів і ключів у блоках, оцінює їхню релевантність і вибирає блоки ключів із найвищими оцінками для кожного блоку запитів. Потім механізм уваги використовує початкові ознаки токенів усередині вибраних блоків. Конфігурація FLUX.1 зберігає 20% блоків ключів: це дає змогу уникнути багатьох взаємодій без зменшення роздільної здатності зображення. Вибір блоків; конфігурація уваги.

VAE з урахуванням переднього плану ​​​ Декодування​** розв’язує наслідки пропуску денойзингу фону. Поєднання чистого переднього плану із зашумленим фоном може пошкодити реконструкцію. UltraTex замінює фон латентним представленням, закодованим із суцільного чорного зображення, а потім використовує декодер, адаптований до цієї композиції. Кодер залишається замороженим; навчання декодера мінімізує помилку реконструкції лише на пікселях переднього плану. Після декодування випущені скрипти інференсу зберігають зображення з кількох ракурсів. Інтеграція цих результатів у ресурс сітки все ще потребує етапу повторного проєктування або запікання. Навчання декодера; результати інференсу.

Основою даних є ​G-buffer TexVerse​. Його публічний реліз охоплює 351 847 BSDF-ресурсів, тоді як UltraTex використовує відфільтровану навчальну підмножину з 268 365 ресурсів. Рендери містять нормалі, координати, альбедо та доступні канали матеріалів із роздільною здатністю до 4096 × 4096. Цю роздільну здатність даних слід відрізняти від продемонстрованої UltraTex генерації у 2K. Опис набору даних.

Застосування, доступність і майбутні напрями

UltraTex орієнтований на етап створення зовнішнього вигляду ресурсу: забезпечення деталізованими текстурами поверхні наявної геометрії персонажів, реквізиту та об’єктів. Типовий результат — ​альбедо​, що відображає колір поверхні без запеченого освітлення. Поточний репозиторій також містить гілку FLUX.2 для металічності й шорсткості з окремими вагами LoRA. Це доступне розширення слід відрізняти від основного тестування альбедо в статті, де UltraTex рендериться з фіксованими значеннями шорсткості та металічності. Доступні результати для матеріалів; параметри оцінювання.

Станом на 6 листопада 2026 року код навчання та інференсу, а також інструкції із завантаження ваг є публічними. Репозиторій підтримує варіанти FLUX.1-dev і FLUX.2-Klein, кожен із яких потребує відповідних файлів магістральної мережі, LoRA та декодера. У протестованому середовищі використовуються Python 3.12, CUDA 12.4 і PyTorch 2.5.1. У цій статті розглядаються публікація та реалізація; вона не заявляє про незалежне відтворення якості чи швидкості. Офіційний репозиторій.

Автори вказують на труднощі з дуже повторюваними текстурами та втрату деталей через стиснене представлення попередньо навченого VAE. Заявлений ними напрям масштабування до 4K або 8K — перепроєктування базових моделей DiT–VAE із нативною підтримкою цих роздільних здатностей, оскільки наявна магістраль FLUX краще відповідає вхідним даним приблизно від 1K до 2K. Це залишаються обмеженнями та напрямами досліджень, а не випущеними можливостями роботи у високій роздільній здатності. Стаття, обмеження.