Idol: Einzelbild zu 3D-Gaussian-Splats

Höhepunkte und Ergebnisse

Idol von Speridlabs verwandelt eine Fotografie, ein Rendering oder ein generiertes Bild eines Objekts in einen drehbaren 3D-Gaussian-Splat. Es sagt die nicht sichtbaren Seiten des Objekts voraus und exportiert eine standardmäßige 3DGS-PLY-Datei mit 32.768 bis 1.048.576 Gaussians. Der praktische Vorteil liegt in einem öffentlichen Inferenz-SDK mit steuerbarer Ausgabedichte und Anforderungen an den Speicher einer Consumer-GPU, statt in einer obligatorischen Multi-View-Aufnahmesitzung. Offizielle Forschungsseite.

Der Vergleich der Autoren verwendet pro Modell eine H100. Bei 50 Sampling-Schritten und 262.144 Gaussians meldet Idol 6,8 Sekunden pro Anfrage, einen SSIM-Wert der Eingabeansicht von 0,726 und eine DINOv2-Ähnlichkeit von 0,781 für sieben neue Ansichten, verglichen mit 0,716 und 0,754 bei TRELLIS unter dessen angegebenen Einstellungen mit 50 + 50 Schritten. LGM ist mit 1,1 Sekunden schneller, daher führt Idol nicht bei jeder Metrik. Dies sind von den Autoren gemeldete Ergebnisse; der angezeigte Vergleich nennt weder einen bestimmten Benchmark-Datensatz noch eine Stichprobengröße. Benchmark.

Eine separate Zeittabelle weist bei derselben Einstellung mit 50 Schritten und 262.144 Gaussians 19,1 Sekunden auf einer RTX 4090 aus, wobei der Median über acht Bilder gebildet wird. Die Modellkarte nennt einen Spitzenverbrauch von 7,2 GB Speicher. Die Überschrift „unter zwei Sekunden“ sollte daher nicht als gemessene Laufzeit dieser Standardkonfiguration auf einer 4090 verstanden werden. Modellkarte und Hardwareeinstellungen.

Funktionsweise

Die Inferenzpipeline umfasst Bildvorbereitung → duale Bildkodierung → gemeinsames Flow-Sampling für Objekt und Kamera → Platzierung von Octree-Ankern → Gaussian-Dekodierung → Export von PLY und Kamera. BiRefNet entfernt den Hintergrund, und das Objekt wird in einem Bereich von 1024 × 1024 Pixeln dargestellt. Der Foto- und der synthetische Modus verwenden unterschiedliche Zuschneidemargen, jeweils 1,7 und 1,2. Pipeline.

DINOv3 liefert visuelle Feature-Tokens, während das FLUX.2-VAE komprimierte Bildinformationen liefert. Nach der Projektion in die Arbeitsdimension des Transformers werden ihre Embeddings addiert, um die Bildkonditionierung zu bilden. Die Generierung beginnt mit zwei zufälligen Tensoren: einem Objekt-Latent mit 8.192 Tokens aus jeweils 16 Kanälen und einem Kamera-Token mit fünf Kanälen. Die Datenströme werden zunächst separat verfeinert, bevor die gemeinsame Attention Latent-, Bild- und Kamera-Tokens gemeinsam verarbeitet. Das Modell sagt Geschwindigkeiten sowohl für das Objekt als auch für die Kamera voraus, wodurch der Blickwinkel zu einem Bestandteil der Generierung wird und nicht zu einer unabhängig angenommenen Eingabe. Transformer-Implementierung.

Der Sampler integriert den rectified flow mit Euler-Schritten vom Rauschen bei t = 1 zu den Daten bei t = 0. Die Standardwerte sind 50 Schritte, der Guidance-Parameter w = 3 und ein Time-Shift von 3. Die tatsächliche Guidance-Gleichung lautet v = (1 + w)v_cond − wv_uncond; das verschobene Zeitraster weist Bereichen mit starkem Rauschen mehr Schritte zu. Diese Operationen verändern das kompakte Latent und den Kamerazustand, nicht bei jeder Iteration Millionen expliziter Gaussians. Flow-Sampler.

Die Dekodierung erweitert dieses kompakte Ergebnis räumlich. Ein Octree-Dekoder wird durch das Objekt-Latent konditioniert und verteilt auf jeder Ebene eine angeforderte Anzahl von Ankern auf acht untergeordnete Zellen. Ein Gaussian-Dekoder liest dasselbe Latent über Cross-Attention und gibt 32 Gaussians pro Anker aus, wobei er Positionsversätze, Farbe, Skalierung, Rotation und Opazität vorhersagt. Daher erfordern 262.144 Gaussians 8.192 Anker. Die Ausgabedichte wird bei der Dekodierung gesteuert; sie entspricht weder der Anzahl der Latent-Tokens noch einer Unterteilungsstufe eines Meshes. Dekoder.

Der Denoiser enthält 370,6 Mio. Parameter und die beiden Dekoder etwa 288,1 Mio., was für diese Kernkomponenten rund 0,66 Mrd. ergibt. Einschließlich der Bild-Encoder und der Hintergrundentfernung umfasst eine vollständige Anfrage etwa 1,80 Mrd. Parameter. Das SDK gibt den Splat, das verarbeitete Eingabebild und die vorausgesagten Kameraparameter zurück. GPU-Optimierungen kompilieren den Denoiser und bündeln bedingte und unbedingte Durchläufe, wobei bei der ersten Generierung zusätzliche Startkosten anfallen. Komponentenaufstellung und Laufzeit.

Anwendungen, Verfügbarkeit und zukünftige Entwicklungen

Die Ausgabe eignet sich für objektbasierte Splat-Vorschauen, interaktive Präsentationen und Experimente zur Bild-zu-3D-Generierung. Eine Gaussian-PLY-Datei ist weder ein wasserdichtes Polygonnetz, ein CAD-Volumenkörper noch eine automatisch geriggte Figur. Verdeckte Oberflächen werden rekonstruiert und nicht gemessen. SDK und Gewichte werden mit der Kennzeichnung Apache-2.0 veröffentlicht, während die erforderlichen DINOv3- und FLUX.2-Encoder-Komponenten einen separaten genehmigungspflichtigen Zugriff und die jeweils geltenden Bedingungen erfordern. Veröffentlichung und Zugriffsanforderungen.

Für diese Besprechung wurden die offizielle Forschungsseite, die Modellkarte und der SDK-Commit 4702a7f verwendet, geprüft am 6. November 2026. In diesen Materialien wurde kein eigenständiges technisches Paper und keine ausdrückliche Roadmap für zukünftige Idol-Arbeiten gefunden. Das untersuchte Repository stellt Inferenz und eine Demo bereit, daher lassen sich aus seinen Interna keine nicht offengelegten Trainingsverfahren ableiten. Für diesen Artikel wurden weder eine Modellinferenz noch ein Benchmark erneut ausgeführt.