UltraTex: 3D 텍스처링을 위한 2K 멀티 뷰 디퓨전의 잠재력 발휘

주요 내용 및 결과: 더 자세히, 낭비되는 컴퓨팅은 줄이기

원본 논문: ​UltraTex: 3D 텍스처링을 위한 2K 멀티뷰 확산의 잠재력 발휘

UltraTex 는 참조 이미지를 사용해 기존 3D 메시를 위한 세밀한 텍스처를 생성합니다. SIGGRAPH Asia 2026 프로젝트로 발표된 이 기술은 일반적인 병목 현상을 해결합니다. 512 또는 768 해상도의 멀티뷰 텍스처링에서는 미세한 패턴과 표면 디테일이 손실됩니다. UltraTex 는 오브젝트 전경에 연산을 집중해 생성된 뷰의 해상도를 2048 × 2048로 높입니다. 핵심 기여는 토큰 처리, 어텐션, 디코딩을 조정해 고해상도 멀티뷰 확산을 실용적으로 만든 것입니다. 공식 프로젝트.

100개의 보류된 TexVerse 오브젝트에서 UltraTex 는 ​0.082의 언셰이디드 LPIPS 를 LumiTex 의 0.138과 비교해 보고​했으며, 값이 낮을수록 지각적 일치도가 높다는 의미입니다. 단일 H200에서 저자들은 전경 점유율이 10–30%이고 어텐션 블록 유지율이 20%인 경우, 밀집형 기준선 대비 학습 속도 20.6–91.1배, 추론 속도 22.3–74.6배 향상을 보고했습니다. 이는 구성에 따라 달라지는 결과이며, 모든 에셋이나 완전한 프로덕션 워크플로에 적용되는 고정된 가속 수치는 아닙니다. 논문, 실험.

작동 방식: 참조 이미지에서 텍스처가 적용된 표면까지

파이프라인은 먼저 입력 메시에서 네 개의 측면 뷰, 상단 뷰, 하단 뷰로 구성된 여섯 개의 노멀 맵을 렌더링합니다. VAE 는 지오메트리 가이드와 참조 이미지를 잠재 표현으로 인코딩합니다. 사전 학습된 FLUX 확산 트랜스포머는 플로 매칭을 통해 이에 대응하는 여섯 개의 텍스처 뷰를 생성하며, 논문의 전체 파이프라인은 이를 메시 위에 다시 투영합니다. 2K 에서는 여섯 개의 대상 뷰, 여섯 개의 지오메트리 뷰, 하나의 참조 이미지가 ​212,992개의 이미지 토큰​을 구성하므로, 밀집 처리가 비용이 많이 드는 이유를 설명할 수 있습니다. 파이프라인; 토큰 비용 설명.

Background Token Dropping은 트랜스포머 블록에 들어가기 전에 오브젝트 외부의 이미지 토큰을 제거합니다. 마스크는 유지할 위치를 식별하고, 해당하는 원래 회전 위치 임베딩(RoPE)은 계속 연결된 상태로 유지됩니다. 시퀀스는 공간 좌표를 잃지 않으면서 짧아집니다. 이를 통해 피드 포워드 레이어를 포함한 백본 전체에서 연산량을 줄일 수 있습니다. 공개된 샘플러에서 Euler 업데이트는 선택된 전경 위치만 수정하며, 배경 노이즈는 디코딩 준비 단계까지 변경되지 않습니다. 토큰 선택; 샘플링 구현.

Block-Sparse Attention은 남은 토큰 간 상호작용 비용을 줄입니다. 구현에서는 블록 내 쿼리 및 키 특징을 평균내고, 관련성을 추정한 다음 각 쿼리 블록에 대해 가장 높은 점수를 받은 키 블록을 선택합니다. 이후 어텐션은 선택된 블록 내부의 원래 토큰 특징을 사용합니다. FLUX.1 구성은 키 블록의 20%를 유지하므로 이미지 해상도를 낮추지 않고도 많은 상호작용을 피할 수 있습니다. 블록 선택; 어텐션 구성.

Foreground-Aware ​VAE​​ 디코딩은 배경 디노이징을 건너뛴 결과를 처리합니다. 깨끗한 전경과 노이즈가 있는 배경을 결합하면 복원이 손상될 수 있습니다. UltraTex 는 배경을 단색 검은색 이미지에서 인코딩한 잠재 표현으로 교체한 다음, 이 합성 입력에 맞게 조정된 디코더를 사용합니다. 인코더는 고정된 상태로 유지되며, 디코더 학습은 전경 픽셀에 대해서만 복원 오류를 최소화합니다. 디코딩 후 공개된 추론 스크립트는 멀티뷰 이미지를 저장합니다. 이러한 출력을 메시 에셋에 통합하려면 여전히 재투영 또는 베이킹 단계가 필요합니다. 디코더 학습; 추론 출력.

데이터 기반은 ​G-buffer TexVerse​입니다. 공개 릴리스에는 351,847개의 BSDF 에셋이 포함되어 있으며, UltraTex 는 이 중 필터링된 268,365개 에셋으로 구성된 학습 하위 집합을 사용합니다. 렌더링 데이터는 최대 4096 × 4096 해상도에서 노멀, 좌표, 알베도 및 사용 가능한 머티리얼 채널을 제공합니다. 이 데이터 해상도는 UltraTex 가 입증한 2K 생성 해상도와 구분해야 합니다. 데이터셋 설명.

활용, 사용 가능 여부 및 향후 방향

UltraTex 는 에셋 제작의 외관 단계, 즉 기존 캐릭터, 소품 및 오브젝트 지오메트리에 세밀한 표면 텍스처를 제공하는 작업을 대상으로 합니다. 기본 출력은 ​알베도​이며, 구워진 조명이 포함되지 않은 표면 색상을 나타냅니다. 현재 저장소는 별도의 LoRA 가중치와 함께 FLUX.2 메탈릭–러프니스 브랜치도 제공합니다. 이 사용 가능한 확장 기능은 고정된 러프니스 및 메탈릭 값으로 UltraTex 를 렌더링하는 메인 논문의 알베도 벤치마크와 구분해야 합니다. 사용 가능한 머티리얼 출력; 평가 설정.

2026년 11월 6일 기준으로 학습 및 추론 코드와 가중치 다운로드 지침이 공개되어 있습니다. 저장소는 FLUX.1-dev 및 FLUX.2-Klein 변형을 지원하며, 각각 호환되는 백본, LoRA 및 디코더 파일이 필요합니다. 테스트된 환경은 Python 3.12, CUDA 12.4 및 PyTorch 2.5.1을 사용합니다. 이 글은 논문과 구현을 검토하며, 독립적인 품질 또는 속도 재현을 주장하지 않습니다. 공식 저장소.

저자들은 매우 반복적인 텍스처와 사전 학습된 VAE 의 압축 표현으로 인한 디테일 손실을 어려운 문제로 지적합니다. 4K 또는 8K로 확장하기 위해 제시한 방향은 해당 해상도를 기본적으로 지원하는 DiT–VAE 기반 모델을 새롭게 설계하는 것입니다. 기존 FLUX 백본은 대략 1K–2K 입력에 더 적합하기 때문입니다. 이는 아직 한계이자 연구 방향이며, 공개된 고해상도 기능이 아닙니다. 논문, 한계.