SeMo3D：透過選擇性建模統一 3D 生成、編輯與補全

重點與成果：改變真正重要的事物

原始論文：SeMo3D：透過選擇性建模統一 3D 生成、編輯與補全

由南京大學研究人員提出的 SeMo3D，將 3D 生成、局部編輯與補全整合於單一框架中。對於探索 AI 資產創作的團隊而言，其核心承諾是連續性：建立物件、修改指定區域，或重建缺失部分，同時保留現有上下文。其名稱代表 選擇性建模（Selective Modeling），這是一種讓待合成區域成為這些任務共同介面的策略。官方儲存庫。

在 Toys4K 上，作者報告的幾何 Chamfer Distance 為 0.0118，相較於 TRELLIS.2 的 0.0330（越低越好）。編輯保留度達到 37.39 dB PSNR，相較於 VoxHammer 的 31.55 dB。補全 F-score 在加入額外點引導後達到 0.541，相較於 HY3D-Omni 的 0.412。不同方法支援的輸入有所差異，且點提示來自真值；這些比較無法單獨分離架構帶來的增益。論文，表 1–3。

運作方式：選擇、合成、保留

核心抽象概念是將資產分為選定區域 S 與保留上下文 C。生成會選擇全部內容；編輯會選擇目標；補全則選擇缺失部分。以椅子為例，相同的介面可以建立整張椅子、更換椅背，或重建缺失的椅腳。這些是任務定義的示意用途。模型學習的是共用的區域合成問題，而不是要求針對各個任務採用獨立的訓練方案。儲存庫概覽。

SeMo3D 在 Trellis-500K 上微調 TRELLIS.2 的三個 flow 模型，並重用其 SC-VAE。稀疏結構會在 16³ 潛在網格上預測佔用情況；形狀與紋理則在 32³ 網格的已佔用位置上運作，以生成幾何形狀與 PBR 材質。遮罩會跨階段傳遞。因此，任務統一仍使用三個特定於階段的模型。論文，方法與訓練細節。

區域選擇性去噪會從一般資產建立訓練範例。隨機區域接收雜訊，而其周圍保持乾淨；只有該區域中的預測會計入損失。訓練範圍涵蓋從局部方框到完整資產，無需成對的編輯前後資料或補全資料集。在推理時，選定的 token 從雜訊開始，並在引導下逐步演化；原始上下文 token 則在每個步驟中重複使用。因此，模型可以參考整個物件，而無需重新合成其全部內容。官方方法說明。

Omni3DiT 讓模型能理解這種混合輸入。角色嵌入會識別選定 token 與上下文 token。平行的交叉注意力分支會注入 DINOv3 影像特徵與 CLIP 文字特徵；在稀疏結構階段，點 token 會進入自注意力。影像引導外觀，文字加入語意意圖，而點則限制空間布局。條件丟棄會在訓練期間改變可用的引導方式，促使模型使用互補訊號。官方架構圖。

影像仍是必要條件。生成每個階段使用 12 個 Euler 步驟；編輯／補全在結構階段使用 50 步驟，在形狀與紋理階段使用 12 步驟。嚴格保留適用於潛在 token，不一定適用於每個解碼後的頂點。論文與推理附錄。

應用與後續發展

實際機會在於反覆迭代的工作：探索道具變體、修復不完整的參考內容，以及透過連續指令精煉資產。官方專案也展示了準備參考影像、識別編輯區域並呼叫 SeMo3D 的代理工作流程。這暗示了一種實用的分工：代理將意圖轉換為建模請求，而 3D 模型負責區域合成。互動式專案示範。

目前的可用程度仍有限。**截至 2026 年 11 月 6 日查核，官方儲存庫包含文件與示範資產；權重以及訓練、推理與評估程式碼仍未發布。**其 MIT 授權並未確立未來權重的授權條款。本文檢視論文與可用的儲存庫，不宣稱進行了獨立重現。發布清單。

作者指出了兩個研究方向。更高保真度的 3D 表徵可以更好地捕捉棕櫚葉等細薄結構，而目前的結構化潛在表徵難以解析這些結構。更強大的視覺語言編碼器可以改善對複雜組合式提示的理解；論文展示了橙色水果變成橙色紋理，而非獨立物件。限制與未來工作。專案剩餘的發布里程碑是 在 Hugging Face 上發布模型權重，以及完整的推理、訓練與評估程式碼。官方 TODO 清單。