UltraTex: раскрывая возможности многовидовой диффузии 2K для создания 3D-текстур

Основные моменты и результаты: больше деталей, меньше напрасных вычислений

Исходная статья: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex создаёт детализированные текстуры для существующей 3D-модели с использованием эталонного изображения. Представленный как проект SIGGRAPH Asia 2026, он решает распространённую проблему: текстурирование с нескольких ракурсов при разрешении 512 или 768 приводит к потере мелких узоров и деталей поверхности. UltraTex повышает разрешение создаваемых ракурсов до 2048 × 2048, концентрируя вычисления на переднем плане объекта. Основной вклад метода заключается в том, что он делает диффузию с нескольких ракурсов в высоком разрешении практически применимой благодаря согласованным изменениям обработки токенов, механизма внимания и декодирования. Официальный проект.

На 100 отложенных объектах TexVerse UltraTex показывает ​незатенённый LPIPS на уровне 0.082 против 0.138 у LumiTex​, при этом меньшее значение означает большее перцептивное сходство. Для одного H200 авторы сообщают об ускорении обучения в 20,6–91,1 раза и ускорении вывода в 22,3–74,6 раза по сравнению с плотным базовым методом при заполнении переднего плана 10–30% и сохранении 20% блоков внимания. Это результаты для конкретных конфигураций, а не фиксированное ускорение для каждого объекта или полного производственного процесса. Статья, эксперименты.

Как это работает: от эталонного изображения к текстурированной поверхности

Сначала конвейер строит шесть карт нормалей входной модели: четыре боковых ракурса, верхний и нижний ракурсы. VAE кодирует геометрические данные и эталонное изображение в латентные представления. Затем предварительно обученный диффузионный трансформер FLUX генерирует шесть соответствующих текстурных ракурсов с помощью flow matching; полный конвейер статьи повторно проецирует их на модель. При разрешении 2K шесть целевых ракурсов, шесть геометрических ракурсов и одно эталонное изображение дают ​212 992 токена изображения​, что объясняет высокую стоимость плотной обработки. Конвейер; объяснение стоимости токенов.

Background Token Dropping удаляет токены изображения за пределами объекта до прохождения через блоки трансформера. Маски определяют сохраняемые позиции, а соответствующие исходные вращательные позиционные эмбеддинги (RoPE) остаются привязанными к ним. Последовательность становится короче без потери пространственных координат. Это сокращает объём вычислений во всём backbone, включая полносвязные слои. В опубликованном семплере обновления Эйлера изменяют только выбранные позиции переднего плана; фоновый шум остаётся нетронутым до подготовки к декодированию. Выбор токенов; реализация сэмплирования.

Block-Sparse Attention снижает стоимость взаимодействий между оставшимися токенами. Реализация усредняет признаки запросов и ключей внутри блоков, оценивает их релевантность и выбирает блоки ключей с наивысшими оценками для каждого блока запросов. Затем механизм внимания использует исходные признаки токенов внутри выбранных блоков. Конфигурация FLUX.1 сохраняет 20% блоков ключей: это позволяет избежать множества взаимодействий без снижения разрешения изображения. Выбор блоков; конфигурация внимания.

Foreground-Aware ​VAE​​ Decoding устраняет последствия пропуска устранения шума на фоне. Объединение чистого переднего плана с зашумлённым фоном может нарушить реконструкцию. UltraTex заменяет фон латентным представлением, закодированным из полностью чёрного изображения, а затем использует декодер, адаптированный к этой комбинации. Энкодер остаётся замороженным; обучение декодера минимизирует ошибку реконструкции только на пикселях переднего плана. После декодирования опубликованные скрипты вывода сохраняют изображения с нескольких ракурсов. Для интеграции этих результатов в объект модели по-прежнему требуется этап повторной проекции или запекания. Обучение декодера; результаты вывода.

Основой данных служит ​G-buffer TexVerse​. В общедоступном релизе содержится 351 847 BSDF-объектов, тогда как UltraTex использует отфильтрованную обучающую подвыборку из 268 365 объектов. Рендеры содержат нормали, координаты, альбедо и доступные каналы материалов с разрешением до 4096 × 4096. Это разрешение данных следует отличать от продемонстрированной UltraTex генерации в 2K. Описание набора данных.

Применения, доступность и дальнейшие направления

UltraTex ориентирован на этап создания внешнего вида объекта: он добавляет детализированные текстуры поверхности к существующей геометрии персонажей, пропов и других объектов. Выходные данные по умолчанию — ​альбедо​, представляющее цвет поверхности без запечённого освещения. Текущий репозиторий также предоставляет ветку FLUX.2 для металлических и шероховатых материалов с отдельными весами LoRA. Это доступное расширение следует отличать от основного бенчмарка статьи по альбедо, в котором UltraTex выполняет рендеринг с фиксированными значениями шероховатости и металличности. Доступные выходные данные материалов; настройки оценки.

По состоянию на 6 ноября 2026 года код обучения и вывода, а также инструкции по загрузке весов находятся в открытом доступе. Репозиторий поддерживает варианты FLUX.1-dev и FLUX.2-Klein, каждому из которых требуются соответствующие файлы backbone, LoRA и декодера. В протестированной среде используются Python 3.12, CUDA 12.4 и PyTorch 2.5.1. Эта статья рассматривает публикацию и реализацию; она не заявляет о независимом воспроизведении качества или скорости. Официальный репозиторий.

Авторы отмечают сложности с сильно повторяющимися текстурами и потерю деталей из-за сжатого представления предварительно обученного VAE. Указанное ими направление масштабирования до 4K или 8K заключается в переработке базовых моделей DiT–VAE с нативной поддержкой этих разрешений, поскольку существующий backbone FLUX лучше соответствует входным данным примерно 1K–2K. Это остающиеся ограничения и направления исследований, а не выпущенные возможности работы с высоким разрешением. Статья, ограничения.