UltraTex: Die Entfesselung von 2K-Multi-View-Diffusion für 3D-Texturierung

Highlights und Ergebnisse: Mehr Detail, weniger verschwendete Rechenleistung

Originalarbeit: ​UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

UltraTex erzeugt detaillierte Texturen für ein vorhandenes 3D-Mesh unter Verwendung eines Referenzbildes. Das als SIGGRAPH-Asia-2026-Projekt vorgestellte Verfahren behandelt einen häufigen Engpass: Multi-View-Texturierung bei einer Auflösung von 512 oder 768 verliert feine Muster und Oberflächendetails. UltraTex erhöht die erzeugten Ansichten auf 2048 × 2048, indem die Berechnung auf den Objektvordergrund konzentriert wird. Der zentrale Beitrag besteht darin, hochauflösende Multi-View-Diffusion durch koordinierte Änderungen an der Token-Verarbeitung, der Attention und dem Decoding praktikabel zu machen. Offizielles Projekt.

Auf 100 zurückgehaltenen TexVerse-Objekten berichtet UltraTex von ​ungeschattetem LPIPS von 0.082 gegenüber 0.138 bei LumiTex​, wobei ein niedrigerer Wert eine größere perzeptuelle Übereinstimmung bedeutet. Auf einer einzelnen H200 berichten die Autoren 20.6–91.1× schnellere Trainings- und 22.3–74.6× schnellere Inferenzzeiten gegenüber der dichten Baseline bei einer Vordergrundbelegung von 10–30 % und einer Beibehaltung von 20 % der Attention-Blöcke. Dies sind konfigurationsabhängige Ergebnisse und keine feste Beschleunigung für jedes Asset oder einen vollständigen Produktions-Workflow. Paper, Experimente.

Funktionsweise: Vom Referenzbild zur texturierten Oberfläche

Die Pipeline rendert zunächst sechs Normal-Maps aus dem Eingabe-Mesh: vier Seitenansichten sowie eine Ansicht von oben und eine von unten. Ein VAE codiert Geometriehinweise und das Referenzbild in Latents. Ein vortrainierter FLUX-Diffusion-Transformer erzeugt dann durch Flow Matching sechs entsprechende Texturansichten; die vollständige Pipeline des Papers projiziert sie anschließend zurück auf das Mesh. Bei 2K tragen sechs Zielansichten, sechs Geometrieansichten und ein Referenzbild ​212,992 Bild-Tokens​ bei, was erklärt, warum eine dichte Verarbeitung teuer wird. Pipeline; Erklärung der Token-Kosten.

Background Token Dropping entfernt Bild-Tokens außerhalb des Objekts vor den Transformer-Blöcken. Masken identifizieren die beibehaltenen Positionen, während die entsprechenden ursprünglichen rotatorischen Positionsembeddings (RoPE) erhalten bleiben. Die Sequenz wird kürzer, ohne ihre räumlichen Koordinaten zu verlieren. Dies spart Rechenaufwand im gesamten Backbone, einschließlich der Feed-Forward-Schichten. Im veröffentlichten Sampler verändern Euler-Updates nur ausgewählte Vordergrundpositionen; Hintergrundrauschen bleibt bis zur Vorbereitung des Decodings unverändert. Token-Auswahl; Implementierung des Samplings.

Block-Sparse Attention reduziert die Kosten der Interaktionen zwischen den verbleibenden Tokens. Die Implementierung mittelt Query- und Key-Features innerhalb von Blöcken, schätzt deren Relevanz und wählt für jeden Query-Block die Key-Blöcke mit den höchsten Scores aus. Die Attention verwendet dann die ursprünglichen Token-Features innerhalb dieser ausgewählten Blöcke. Die FLUX.1-Konfiguration behält 20 % der Key-Blöcke bei: Sie vermeidet zahlreiche Interaktionen, ohne die Bildauflösung zu reduzieren. Blockauswahl; Attention-Konfiguration.

Foreground-Aware ​VAE​​ Decoding begegnet der Folge des übersprungenen Denoisings des Hintergrunds. Die Kombination eines sauberen Vordergrunds mit einem verrauschten Hintergrund kann die Rekonstruktion beeinträchtigen. UltraTex ersetzt den Hintergrund durch ein aus einem vollständig schwarzen Bild codiertes Latent und verwendet anschließend einen an diese Komposition angepassten Decoder. Der Encoder bleibt eingefroren; das Decoder-Training minimiert den Rekonstruktionsfehler nur auf Vordergrundpixeln. Nach dem Decoding speichern die veröffentlichten Inferenzskripte Multi-View-Bilder. Die Integration dieser Ausgaben in ein Mesh-Asset erfordert weiterhin den Reprojection- oder Baking-Schritt. Decoder-Training; Inferenz-Ausgaben.

Die Datengrundlage ist ​G-buffer TexVerse​. Die öffentliche Veröffentlichung umfasst 351,847 BSDF-Assets, während UltraTex eine gefilterte Trainings-Teilmenge von 268,365 Assets verwendet. Die Renderings liefern Normalen, Koordinaten, Albedo und verfügbare Materialkanäle mit bis zu 4096 × 4096. Diese Datenauflösung sollte von der demonstrierten 2K-Erzeugung von UltraTex unterschieden werden. Datensatzbeschreibung.

Anwendungen, Verfügbarkeit und zukünftige Richtungen

UltraTex zielt auf die Darstellungsphase der Asset-Erstellung ab: die Bereitstellung detaillierter Oberflächentexturen für vorhandene Charakter-, Prop- und Objektgeometrie. Die Standardausgabe ist ​Albedo​, die die Oberflächenfarbe ohne eingebettete Beleuchtung darstellt. Das aktuelle Repository stellt außerdem einen FLUX.2-Zweig für Metallic-Roughness mit separaten LoRA-Gewichten bereit. Diese verfügbare Erweiterung sollte von dem Albedo-Benchmark des Haupt-Papers unterschieden werden, bei dem UltraTex mit festen Roughness- und Metallic-Werten rendert. Verfügbare Materialausgaben; Evaluierungseinstellungen.

Zum Stand der Prüfung am 6. November 2026 sind der Trainings- und Inferenzcode sowie Anweisungen zum Herunterladen der Gewichte öffentlich verfügbar. Das Repository unterstützt FLUX.1-dev- und FLUX.2-Klein-Varianten, die jeweils passende Backbone-, LoRA- und Decoder-Dateien erfordern. Die getestete Umgebung verwendet Python 3.12, CUDA 12.4 und PyTorch 2.5.1. Dieser Artikel bespricht das Paper und die Implementierung; er erhebt keinen Anspruch auf eine unabhängige Reproduktion der Qualität oder Geschwindigkeit. Offizielles Repository.

Die Autoren stellen Schwierigkeiten bei stark repetitiven Texturen und Detailverlust durch die komprimierte Darstellung des vortrainierten VAEs fest. Als angegebene Richtung für die Skalierung auf 4K oder 8K gilt die Neugestaltung von DiT-VAE-Grundlagenmodellen, die diese Auflösungen nativ unterstützen, da das bestehende FLUX-Backbone besser für Eingaben von ungefähr 1K–2K geeignet ist. Dies sind weiterhin Einschränkungen und Forschungsrichtungen, keine veröffentlichten hochauflösenden Fähigkeiten. Paper, Einschränkungen.