PartBloom: 3D-modeller byggda av delar
PartBloom är ett ramverk med öppen källkod som omvandlar en enda bild till en modulär 3D-modell med delar som kan exporteras separat och utnyttjar LLM:er för struktur och TRELLIS för detaljer.
Höjdpunkter och resultat: Från en bild till separata delar
PartBloom är ett ramverk med öppen källkod som omvandlar en enda bild till en 3D-modell med separata delar. Grundidén är enkel: en LLM bygger strukturen och TRELLIS lägger till detaljer. Delar planeras utifrån sina funktioner och relativa rörelser, vilket gör det möjligt att exportera komponenter som ett fordonskarosseri och hjul separat. Grovmodellen strävar efter att bevara öppningar och anslutningar, vilket gör resultatet enklare att redigera, byta ut och montera.
Projektet presenterar 14 exempel från enstaka bilder, jämförelser av generering och uppdelning samt demonstrationer av animering med riggning. De två figurerna nedan illustrerar den övergripande detaljnivån och delgränserna. Dessa kvalitativa exempel antyder potential, men fastställer inte en konsekvent överlägsenhet jämfört med andra metoder. Den här artikeln bygger på README-filen och källkoden; vi har inte kört några genereringstester.
Så fungerar det: Planering, förfining och avkodning av delar
Det första steget samordnar tre LLM-roller. Planeraren producerar en delgraf som beskriver funktioner, begränsningsboxar, relationer mellan föräldrar och barn, anslutningsplatser och förväntade rörelser. Byggaren redigerar sedan en binär voxelmask för varje del i ett gemensamt 64³-rutnät med hjälp av verktyg för polygoner, pensel, flytt och rensning. Precis som när man bygger med klossar skapar dessa operationer faktisk grov geometri. Granskaren jämför referensbilden med fyra vyer av proxymodellen och kontrollerar proportioner, saknade delar, anslutningar och öppningar. Den kan utlösa upp till två reparationsomgångar.
Det andra steget återanvänder förtränade TRELLIS-vikter. Grovmodellens kombinerade koordinater för yta och stöd expanderas med en cell längs de sex riktningarna till sidogrannar, och kodas sedan till en strukturlatentvektor av den glesa strukturens VAE. Efter att denna kodning blandats med gaussiskt brus samplar flödesmodellen som standard från t=0.65 till t=0 i 12 steg, styrd av referensbilden, innan den avkodar den förfinade strukturen. Proxymodellen tillhandahåller därmed ett redigerbart rumsligt förhandsantagande, även om förfiningen fortfarande kan ta bort små delar.
Avståndsbaserad tilldelning och växande av sammanhängande regioner överför delarnas etiketter till den förfinade strukturen. Pipelineprocessen samplar sedan en gemensam SLat för hela objektet: en uppsättning funktioner kopplade till rumsliga koordinater. Detta är separata operationer – strukturlatentvektorn initieras från proxymodellen, medan den detaljerade SLat genereras på nytt. I standardläget för delar väljs funktioner utifrån delens etikett och avkodas till separata meshobjekt. I gemensamt läge avkodas hela SLat till funktioner med högre upplösning innan varje dels mesh extraheras. Ett gemensamt genereringssammanhang bidrar till konsekvens, men garanterar inte korrekta skarvar.
Utseendet kommer från varje dels utsnitt av samma SLat genom gaussisk avkodning, rendering från flera vyer och texturbakning. Utdata innehåller bakad grundfärg och ska inte misstas för en komplett PBR-materialuppsättning. Leveranserna omfattar planerings- och proxymaterial, oberoende meshobjekt, texturerade GLB-filer per del, den sammansatta assembly_textured.glb, förhandsgranskningsbilder och körningsloggar. Tillsammans stöder de inspektion, redigering och felsökning.
Tillämpningar och framtidsutsikter: Från separata delar till användbara tillgångar
Möjliga användningsområden omfattar prototypframtagning för animering, exploderade produktvyer och utbildning i montering. Separata meshobjekt kräver fortfarande riggning för skelettanimering. Fysisk utskrift kräver också arbete med toleranser, gränssnitt och väggtjocklek. Eftersom osynlig geometri härleds från en enda bild bör resultatet inte betraktas som en exakt rekonstruktion.
Driftsättning kräver ett LLM-API, en CUDA-miljö, TRELLIS- och DINOv2-vikter samt Blender 4.5. PartBloom-repositoriet använder MIT-licensen, men dess PhysX-Omni-beroende använder S-Lab License 1.0, som begränsar kommersiell användning.
Den officiella färdplanen omfattar riggning och en övergång till TRELLIS.2. Ytterligare forskning skulle kunna undersöka begränsningar från flera vyer, kontroller av anslutningar och lokal regenerering. Mätning av kvarvarande delar, skarvkvalitet, körtid och kostnad skulle bidra till att fastställa hur tillförlitligt detta tillvägagångssätt kan stödja produktionsarbetsflöden.
Källor: Repository och färdplan; Agentprompter; Förfiningspipeline; Textexport.
Vanliga frågor
Vad skapar PartBloom från en enda bild?
PartBloom förvandlar en referensbild till en 3D-modell med separat redigerbara delar. Till exempel kan ett fordons hjul exporteras som individuella mesh-objekt, så att du kan rotera eller byta ut ett hjul samtidigt som karossen hålls på plats.
Hur avgör PartBloom var en del slutar och en annan börjar?
Det börjar med att fråga vad varje komponent gör och hur den rör sig i förhållande till sina grannar. En språkmodell använder den planen för att bygga en grov 3D-form för varje del. TRELLIS förfinar sedan geometrin med referensbilden som vägledning.
Vilka filer exporterar PartBloom?
Du får en texturerad GLB-fil för varje del samt filen assembly_textured.glb som visar hela objektet. Välj en fil för en enskild del för att redigera en komponent, eller öppna monteringen för att granska hur delarna passar ihop. Texturerna innehåller endast bakad basfärg.
Hur exakta är delar som är dolda i bilden?
PartBloom härleder dolda ytor från den synliga formen. Ett hjul kan se övertygande ut från sidan, medan dess dolda anslutning till axeln fortfarande kan behöva justeras. Små delar kan också försvinna under förfiningen, så inspektera modellen från flera vinklar innan du förlitar dig på passformen.
