PartBloom: 3D-Modelle aus Einzelteilen
PartBloom ist ein Open-Source-Framework, das ein einzelnes Bild in ein modulares 3D-Modell mit separat exportierbaren Teilen umwandelt und dabei LLMs für die Struktur und TRELLIS für die Details nutzt.
Höhepunkte und Ergebnisse: Von einem Bild zu separaten Teilen
PartBloom ist ein Open-Source-Framework, das ein einzelnes Bild in ein 3D-Modell mit separaten Teilen umwandelt. Die grundlegende Idee ist einfach: Ein LLM erstellt die Struktur, anschließend fügt TRELLIS Details hinzu. Teile werden anhand ihrer Funktionen und relativen Bewegungen geplant, sodass Komponenten wie eine Fahrzeugkarosserie und Räder separat exportiert werden können. Das grobe Modell zielt darauf ab, Öffnungen und Verbindungen zu erhalten, wodurch sich das Ergebnis leichter bearbeiten, ersetzen und montieren lässt.
Das Projekt präsentiert 14 Beispiele aus Einzelbildern, Vergleiche von Generierung und Zerlegung sowie Demonstrationen geriggter Animationen. Die beiden folgenden Abbildungen veranschaulichen den Gesamtdetailgrad und die Grenzen der einzelnen Teile. Diese qualitativen Beispiele deuten auf Potenzial hin, belegen jedoch keine konsistente Überlegenheit gegenüber anderen Methoden. Dieser Artikel basiert auf der README-Datei und dem Quellcode; wir haben keine Generierungstests durchgeführt.
Funktionsweise: Planung, Verfeinerung und Teiledekodierung
Die erste Phase koordiniert drei LLM-Rollen. Der Planer erstellt einen Teilegraphen, der Funktionen, Begrenzungsboxen, Eltern-Kind-Beziehungen, Verbindungspositionen und erwartete Bewegungen beschreibt. Anschließend bearbeitet der Builder eine binäre Voxelmaske für jedes Teil in einem gemeinsamen 64³-Raster mithilfe von Polygon-, Pinsel-, Verschiebe- und Löschwerkzeugen. Wie beim Bauen mit Bauklötzen erzeugen diese Operationen tatsächlich grobe Geometrie. Der Reviewer vergleicht das Referenzbild mit vier Ansichten des Platzhalters und überprüft Proportionen, fehlende Teile, Verbindungen und Öffnungen. Er kann bis zu zwei Reparaturrunden auslösen.
Die zweite Phase verwendet vortrainierte TRELLIS-Gewichte erneut. Die kombinierten Oberflächenstützkoordinaten des groben Modells werden entlang der sechs Richtungen zu benachbarten Flächen jeweils um eine Zelle erweitert und anschließend vom VAE für Sparse-Strukturen in einen Struktur-Latentvektor kodiert. Nachdem diese Kodierung mit Gaußschem Rauschen vermischt wurde, tastet das Flow-Modell standardmäßig in 12 Schritten von t=0.65 bis t=0 ab, geleitet vom Referenzbild, bevor es die verfeinerte Struktur dekodiert. Der Platzhalter liefert daher eine bearbeitbare räumliche Vorgabe, auch wenn bei der Verfeinerung weiterhin kleine Teile entfernt werden können.
Distanzbasierte Zuordnung und das Wachstum zusammenhängender Regionen übertragen die Teilebeschriftungen auf die verfeinerte Struktur. Die Pipeline tastet anschließend ein gemeinsames SLat für das gesamte Objekt ab: eine Menge von Merkmalen, die räumlichen Koordinaten zugeordnet sind. Dabei handelt es sich um unterschiedliche Vorgänge – der Struktur-Latentvektor wird aus dem Platzhalter initialisiert, während das detaillierte SLat neu erzeugt wird. Im standardmäßigen Teilemodus werden Merkmale anhand der Teilebeschriftung ausgewählt und in separate Meshes dekodiert. Im gemeinsamen Modus wird das vollständige SLat in Merkmale mit höherer Auflösung dekodiert, bevor das Mesh jedes Teils extrahiert wird. Der gemeinsame Generierungskontext unterstützt die Konsistenz, garantiert jedoch keine korrekten Nahtstellen.
Das Erscheinungsbild stammt aus dem Abschnitt jedes Teils im selben SLat mittels Gaußscher Dekodierung, Multi-View-Rendering und Textur-Backen. Die Ausgabe enthält eine gebackene Grundfarbe und sollte nicht mit einem vollständigen PBR-Materialsatz verwechselt werden. Zu den Ergebnissen gehören Planungs- und Platzhalterdaten, unabhängige Meshes, texturierte GLBs pro Teil, die zusammengefügte assembly_textured.glb, Vorschaubilder und Ausführungsprotokolle. Zusammen ermöglichen sie Inspektion, Bearbeitung und Fehlerbehebung.
Anwendungen und Ausblick: Von separaten Teilen zu nutzbaren Assets
Mögliche Einsatzbereiche umfassen das Prototyping von Animationen, Explosionsdarstellungen von Produkten und die Vermittlung von Montageprozessen. Separate Meshes benötigen für Skelettanimationen weiterhin ein Rigging. Auch für den 3D-Druck sind Arbeiten an Toleranzen, Schnittstellen und Wandstärken erforderlich. Da nicht sichtbare Geometrie aus einem einzelnen Bild abgeleitet wird, sollte die Ausgabe nicht als präzise Rückwärtsentwicklung betrachtet werden.
Für die Bereitstellung sind eine LLM-API, eine CUDA-Umgebung, TRELLIS- und DINOv2-Gewichte sowie Blender 4.5 erforderlich. Das PartBloom-Repository verwendet die MIT-Lizenz, seine PhysX-Omni-Abhängigkeit jedoch die S-Lab License 1.0, die die kommerzielle Nutzung einschränkt.
Die offizielle Roadmap umfasst Rigging und den Wechsel zu TRELLIS.2. Weitere Forschung könnte Mehrfachansichts-Bedingungen, Verbindungsprüfungen und lokale Neugenerierung untersuchen. Messungen zur Beibehaltung von Teilen, Nahtqualität, Laufzeit und Kosten würden helfen festzustellen, wie zuverlässig dieser Ansatz Produktionsabläufe unterstützen kann.
Quellen: Repository und Roadmap; Agenten-Prompts; Verfeinerungspipeline; Texturexport.
Häufig gestellte Fragen
Was erstellt PartBloom aus einem einzigen Bild?
PartBloom verwandelt ein einzelnes Referenzbild in ein 3D-Modell mit separat bearbeitbaren Teilen. So können beispielsweise die Räder eines Fahrzeugs als einzelne Meshes exportiert werden, sodass Sie ein Rad drehen oder ersetzen können, während die Karosserie an ihrem Platz bleibt.
Wie entscheidet PartBloom, wo ein Teil endet und ein anderer beginnt?
Es beginnt damit, zu fragen, was jede Komponente tut und wie sie sich im Verhältnis zu ihren Nachbarn bewegt. Ein Sprachmodell nutzt diesen Plan, um eine grobe 3D-Form für jedes Teil zu erstellen. TRELLIS verfeinert anschließend die Geometrie, wobei es das Referenzbild als Orientierung verwendet.
Welche Dateien exportiert PartBloom?
Du erhältst für jedes Teil eine texturierte GLB-Datei sowie eine assembly_textured.glb-Datei, die das gesamte Objekt zeigt. Wähle eine Datei für ein einzelnes Teil, um eine Komponente zu bearbeiten, oder öffne die Baugruppe, um zu prüfen, wie die Teile zusammenpassen. Die Texturen enthalten nur die gebackene Grundfarbe.
Wie genau sind Teile, die im Bild verborgen sind?
PartBloom leitet verborgene Oberflächen aus der sichtbaren Form ab. Ein Rad kann von der Seite überzeugend aussehen, während seine verborgene Verbindung zur Achse noch angepasst werden muss. Kleine Teile können während der Verfeinerung ebenfalls verschwinden. Überprüfen Sie das Modell daher aus mehreren Winkeln, bevor Sie sich auf die Passgenauigkeit verlassen.
