PartBloom: 3D-modellen opgebouwd uit onderdelen
PartBloom is een open-sourceframework dat één afbeelding omzet in een modulair 3D-model met afzonderlijk exporteerbare onderdelen, waarbij het LLM's gebruikt voor de structuur en TRELLIS voor de details.
Hoogtepunten en resultaten: van één afbeelding naar afzonderlijke onderdelen
PartBloom is een open-sourceframework dat één afbeelding omzet in een 3D-model met afzonderlijke onderdelen. Het kernidee is eenvoudig: een LLM bouwt de structuur en TRELLIS voegt vervolgens details toe. Onderdelen worden gepland rond hun functies en onderlinge beweging, waardoor componenten zoals een voertuigcarrosserie en wielen afzonderlijk kunnen worden geëxporteerd. Het grove model probeert openingen en verbindingen te behouden, zodat het resultaat eenvoudiger te bewerken, vervangen en assembleren is.
Het project presenteert 14 voorbeelden op basis van één afbeelding, vergelijkingen van generatie en decompositie, en demonstraties van animaties met rigging. De twee onderstaande figuren illustreren de algemene detaillering en de grenzen tussen onderdelen. Deze kwalitatieve voorbeelden wijzen op potentieel, maar tonen geen consistente superioriteit ten opzichte van andere methoden aan. Dit artikel is gebaseerd op de README en de broncode; we hebben geen generatietests uitgevoerd.
Hoe het werkt: planning, verfijning en decodering van onderdelen
De eerste fase coördineert drie LLM-rollen. De Planner produceert een onderdelengraaf die functies, begrenzingsvakken, ouder-kindrelaties, verbindingslocaties en verwachte beweging beschrijft. Vervolgens bewerkt de Builder voor elk onderdeel een binair voxelmasker in een gedeeld 64³-raster met behulp van polygon-, penseel-, verplaatsings- en wistoepassingen. Net als bij het bouwen met blokken creëren deze bewerkingen daadwerkelijk grove geometrie. De Reviewer vergelijkt de referentieafbeelding met vier weergaven van het proxy-model en controleert verhoudingen, ontbrekende onderdelen, verbindingen en openingen. Deze kan maximaal twee herstelrondes starten.
De tweede fase hergebruikt vooraf getrainde TRELLIS-gewichten. De gecombineerde oppervlak-ondersteuningscoördinaten van het grove model worden langs de zes richtingen naar aangrenzende vlakken met één cel uitgebreid en vervolgens door de sparse-structure-VAE gecodeerd naar een structurele latent. Nadat deze codering met Gaussische ruis is gemengd, genereert het flowmodel standaard in 12 stappen samples van t=0.65 tot t=0, gestuurd door de referentieafbeelding, waarna de verfijnde structuur wordt gedecodeerd. Het proxy-model levert zo een bewerkbare ruimtelijke prior, hoewel de verfijning nog steeds kleine onderdelen kan verwijderen.
Op afstand gebaseerde toewijzing en groei van verbonden regio's dragen de onderdeellabels over naar de verfijnde structuur. Vervolgens samplet de pipeline één gedeelde SLat voor het volledige object: een verzameling kenmerken die aan ruimtelijke coördinaten zijn gekoppeld. Dit zijn afzonderlijke bewerkingen: de structurele latent wordt geïnitialiseerd vanuit het proxy-model, terwijl de gedetailleerde SLat opnieuw wordt gegenereerd. In de standaardmodus voor onderdelen worden kenmerken op basis van onderdeellabel geselecteerd en naar afzonderlijke meshes gedecodeerd. In de gezamenlijke modus wordt de volledige SLat gedecodeerd naar kenmerken met een hogere resolutie voordat de mesh van elk onderdeel wordt geëxtraheerd. De gedeelde generatiecontext ondersteunt consistentie, maar garandeert geen correcte naden.
Het uiterlijk is afkomstig van de slice van elk onderdeel uit dezelfde SLat via Gaussische decodering, multi-view-rendering en het bakken van texturen. De uitvoer bevat een ingebakken basiskleur en mag niet worden verward met een volledige PBR-materiaalset. De deliverables omvatten plannings- en proxygegevens, onafhankelijke meshes, getextureerde GLB's per onderdeel, de geassembleerde assembly_textured.glb, voorbeeldafbeeldingen en uitvoeringslogboeken. Samen ondersteunen deze inspectie, bewerking en probleemoplossing.
Toepassingen en vooruitblik: van afzonderlijke onderdelen naar bruikbare assets
Mogelijke toepassingen zijn prototyping van animaties, geëxplodeerde productweergaven en educatie over assemblage. Afzonderlijke meshes vereisen nog steeds rigging voor skeletanimatie. Voor fysiek printen zijn ook werkzaamheden nodig aan toleranties, interfaces en wanddikte. Omdat onzichtbare geometrie vanuit één afbeelding wordt afgeleid, mag de uitvoer niet worden beschouwd als nauwkeurige reverse engineering.
Voor implementatie zijn een LLM-API, een CUDA-omgeving, TRELLIS- en DINOv2-gewichten en Blender 4.5 vereist. De PartBloom-repository gebruikt de MIT-licentie, maar de afhankelijkheid PhysX-Omni gebruikt S-Lab License 1.0, die commercieel gebruik beperkt.
De officiële roadmap omvat rigging en een overstap naar TRELLIS.2. Verder onderzoek zou multi-view-beperkingen, verbindingscontroles en lokale regeneratie kunnen verkennen. Het meten van het behoud van onderdelen, de naadkwaliteit, de uitvoeringstijd en de kosten zou helpen vaststellen hoe betrouwbaar deze aanpak productie-workflows kan ondersteunen.
Bronnen: Repository en roadmap; Agentprompts; Verfijningspipeline; Textuurexport.
Veelgestelde vragen
Wat maakt PartBloom van één afbeelding?
PartBloom zet één referentieafbeelding om in een 3D-model met afzonderlijk bewerkbare onderdelen. Zo kunnen bijvoorbeeld de wielen van een voertuig als afzonderlijke meshes worden geëxporteerd, zodat je een wiel kunt draaien of vervangen terwijl de carrosserie op zijn plaats blijft.
Hoe bepaalt PartBloom waar het ene onderdeel eindigt en het andere begint?
Het begint met de vraag wat elk onderdeel doet en hoe het beweegt ten opzichte van zijn buren. Een taalmodel gebruikt dat plan om een ruwe 3D-vorm voor elk onderdeel te maken. TRELLIS verfijnt vervolgens de geometrie met de referentieafbeelding als leidraad.
Welke bestanden exporteert PartBloom?
Je krijgt voor elk onderdeel een GLB-bestand met textuur en een assembly_textured.glb-bestand dat het volledige object toont. Kies een bestand per onderdeel om één component te bewerken, of open de assemblage om te bekijken hoe de stukken in elkaar passen. De texturen bevatten alleen de gebakken basiskleur.
Hoe nauwkeurig zijn delen die in de afbeelding verborgen zijn?
PartBloom leidt verborgen oppervlakken af uit de zichtbare vorm. Een wiel kan er van de zijkant overtuigend uitzien, terwijl de verborgen verbinding met de as nog moet worden aangepast. Kleine onderdelen kunnen tijdens het verfijnen ook verdwijnen, dus inspecteer het model vanuit verschillende hoeken voordat je op de pasvorm vertrouwt.
