PartBloom：由零件打造的 3D 模型

重點與成果：從單張影像到獨立零件

PartBloom 是一個開源框架，可將單張影像轉換為具有獨立零件的 3D 模型。其核心理念很簡單：先由 LLM 建立結構，再由 TRELLIS 增加細節。零件會根據其功能與相對運動進行規劃，因此車身與車輪等元件可以分別匯出。粗略模型旨在保留開口與連接處，使結果更容易編輯、替換與組裝。

此專案展示了 14 個單張影像範例、生成與分解比較，以及已綁定骨架的動畫示範。下方兩張圖展示整體細節與零件邊界。這些質化範例顯示了其潛力，但無法證明它始終優於其他方法。本文以 README 與原始碼為基礎；我們尚未執行生成測試。

運作方式：規劃、細化與零件解碼

第一階段會協調三個 LLM 角色。規劃器會產生零件圖，描述功能、邊界框、父子關係、連接位置與預期運動。接著，建構器會在共用的 64³ 網格中，使用多邊形、筆刷、移動與清除工具，為每個零件編輯二元體素遮罩。這些操作就像用積木建造一樣，會建立實際的粗略幾何。檢查器會將參考影像與代理模型的四個視角進行比較，檢查比例、缺少的零件、連接處與開口。它最多可以觸發兩輪修復。

第二階段會重新使用經預先訓練的 TRELLIS 權重。粗略模型的結合表面支援座標會沿著六個面鄰接方向各擴展一個格子，接著由稀疏結構 VAE 將其編碼為結構潛在表示。此編碼與高斯雜訊混合後，流程模型預設會在 12 個步驟中，從 t=0.65 採樣至 t=0，並以參考影像作為引導，之後解碼細化後的結構。因此，代理模型提供了可編輯的空間先驗，但細化過程仍可能移除小型零件。

基於距離的指派與連通區域成長會將零件標籤轉移到細化後的結構。接著，流程會為整個物件採樣一個共用的 SLat：一組與空間座標相關聯的特徵。這是兩個不同的操作——結構潛在表示是從代理模型初始化，而詳細的 SLat 則是重新生成。在預設的零件模式中，系統會依零件標籤選取特徵，並將其解碼為獨立網格。在聯合模式中，完整的 SLat 會先解碼為更高解析度的特徵，再擷取每個零件的網格。共用的生成上下文有助於維持一致性，但不保證接縫正確。

外觀來自同一個 SLat 中各零件的切片，經過高斯解碼、多視角渲染與紋理烘焙而成。輸出包含烘焙後的基礎色彩，不應將其誤認為完整的 PBR 材質集。交付內容包括規劃與代理模型資料、獨立網格、各零件的紋理 GLB、組裝後的 assembly_textured.glb、預覽影像與執行記錄。這些內容共同支援檢查、編輯與疑難排解。

應用與展望：從獨立零件到可用資產

潛在用途包括動畫原型製作、產品爆炸圖與組裝教學。獨立網格仍需要綁定骨架，才能用於骨骼動畫。實體列印也需要處理公差、介面與壁厚等問題。由於不可見的幾何形狀是從單張影像推斷而來，因此不應將輸出視為精確的逆向工程結果。

部署需要 LLM API、CUDA 環境、TRELLIS 與 DINOv2 權重，以及 Blender 4.5。PartBloom 儲存庫採用 MIT 授權，但其 PhysX-Omni 依賴項採用 S-Lab License 1.0，限制商業用途。

官方路線圖包括綁定骨架，以及轉向 TRELLIS.2。未來研究可以探索多視角約束、連接檢查與局部重新生成。測量零件保留率、接縫品質、執行時間與成本，將有助於確認此方法能多可靠地支援生產工作流程。

來源：儲存庫與路線圖；代理提示；細化流程；紋理匯出。