PartBloom: Mga 3D Model na Binubuo sa mga Bahagi

Mga Pangunahing Tampok at Resulta: Mula sa Isang Larawan Tungo sa magkakahiwalay na Bahagi

Ang PartBloom ay isang open-source framework na ginagawang 3D model na may magkakahiwalay na bahagi ang isang larawan. Simple ang pangunahing ideya nito: binubuo ng isang LLM ang istruktura, pagkatapos ay nagdaragdag ng detalye ang TRELLIS. Pinaplano ang mga bahagi batay sa kanilang mga function at relatibong galaw, kaya maaaring i-export nang magkahiwalay ang mga component gaya ng katawan at mga gulong ng sasakyan. Nilalayon ng coarse model na mapanatili ang mga bukasan at koneksyon, na ginagawang mas madaling i-edit, palitan, at buuin ang resulta.

Nagtatanghal ang proyekto ng 14 na halimbawa mula sa iisang larawan, mga paghahambing ng generation at decomposition, at mga demonstrasyon ng rigged animation. Ipinapakita ng dalawang figure sa ibaba ang kabuuang detalye at mga hangganan ng bahagi. Iminumungkahi ng mga kwalitatibong halimbawang ito ang potensyal, ngunit hindi nito pinatutunayan ang pare-parehong kahigitan kumpara sa ibang pamamaraan. Batay ang artikulong ito sa README at source code; hindi kami nagsagawa ng mga generation test.

Paano Ito Gumagana: Pagpaplano, Refinement, at Part Decoding

Ino-orchestrate ng unang yugto ang tatlong role ng LLM. Gumagawa ang Planner ng part graph na naglalarawan sa mga function, bounding box, ugnayang parent–child, mga lokasyon ng koneksyon, at inaasahang galaw. Pagkatapos ay ine-edit ng Builder ang binary voxel mask para sa bawat bahagi sa isang shared na 64³ grid gamit ang mga tool na polygon, brush, move, at clear. Gaya ng pagbuo gamit ang mga bloke, lumilikha ang mga operasyong ito ng aktuwal na coarse geometry. Inihahambing ng Reviewer ang reference image sa apat na view ng proxy, at sinusuri ang mga proporsyon, nawawalang bahagi, koneksyon, at bukasan. Maaari itong mag-trigger ng hanggang dalawang repair round.

Ginagamit muli ng ikalawang yugto ang mga pretrained na timbang ng TRELLIS. Pinapalawak ng isang cell ang pinagsamang surface-support coordinates ng coarse model sa bawat isa sa anim na direksyon ng face-neighbor, pagkatapos ay ine-encode ang mga ito bilang structure latent ng sparse-structure VAE. Matapos ihalo ang encoding na ito sa Gaussian noise, nagsa-sample ang flow model mula t=0.65 hanggang t=0 sa 12 hakbang bilang default, na ginagabayan ng reference image, bago i-decode ang refined structure. Samakatuwid, nagbibigay ang proxy ng nae-edit na spatial prior, bagama't maaari pa ring maalis ng refinement ang maliliit na bahagi.

Inililipat ng distance-based assignment at connected region growing ang mga label ng bahagi sa refined structure. Pagkatapos ay nagsa-sample ang pipeline ng isang shared SLat para sa buong object: isang set ng mga feature na nauugnay sa spatial coordinates. Magkahiwalay ang mga operasyong ito—sinisimulan ang structure latent mula sa proxy, samantalang bagong binubuo ang detalyadong SLat. Sa default na parts mode, pinipili ang mga feature ayon sa label ng bahagi at dini-decode bilang magkakahiwalay na mesh. Sa joint mode, dini-decode muna ang buong SLat bilang mga feature na may mas mataas na resolution bago i-extract ang mesh ng bawat bahagi. Sinusuportahan ng shared generation context ang consistency, ngunit hindi nito ginagarantiyahan ang mga tamang seam.

Nagmumula ang appearance sa slice ng bawat bahagi mula sa parehong SLat sa pamamagitan ng Gaussian decoding, multi-view rendering, at texture baking. Naglalaman ang output ng baked base color at hindi ito dapat mapagkamalang kumpletong PBR material set. Kabilang sa mga deliverable ang planning at proxy data, mga independent mesh, mga textured na per-part GLB, ang assembled assembly_textured.glb, mga preview image, at mga run log. Sama-sama, sinusuportahan ng mga ito ang pagsusuri, pag-edit, at troubleshooting.

Mga Aplikasyon at Pananaw: Mula sa Magkakahiwalay na Bahagi Tungo sa Mga Kapaki-pakinabang na Asset

Kabilang sa mga posibleng gamit ang animation prototyping, exploded product views, at edukasyon sa assembly. Kailangan pa rin ng rigging ng mga magkakahiwalay na mesh para sa skeletal animation. Nangangailangan din ang pisikal na pagpi-print ng karagdagang trabaho sa tolerances, interfaces, at kapal ng pader. Dahil hinuhulaan ang hindi nakikitang geometry mula sa isang larawan, hindi dapat ituring ang output bilang tumpak na reverse engineering.

Nangangailangan ang deployment ng isang LLM API, CUDA environment, mga timbang ng TRELLIS at DINOv2, at Blender 4.5. Gumagamit ang PartBloom repository ng MIT license, ngunit ang dependency nitong PhysX-Omni ay gumagamit ng S-Lab License 1.0, na naghihigpit sa komersiyal na paggamit.

Kabilang sa opisyal na roadmap ang rigging at paglipat sa TRELLIS.2. Maaaring pag-aralan pa ng karagdagang pananaliksik ang mga multi-view constraint, pagsusuri ng koneksyon, at lokal na regeneration. Makakatulong ang pagsukat sa retention ng bahagi, kalidad ng seam, runtime, at gastos upang matukoy kung gaano kaaasahan na masusuportahan ng pamamaraang ito ang mga production workflow.

Mga source: Repository at roadmap; Mga prompt ng agent; Refinement pipeline; Pag-export ng texture.