CoDimRecon：具代理能力的模擬就緒 3D 場景重建與可變形幾何

原始論文： ​CoDimRecon：具備可變形曲線、曲面與體積的模擬就緒 3D 場景代理式重建

重點與結果

CoDimRecon 會從多視角 RGB 影像重建可編輯的室內環境，包括在攝影機穿過房間時擷取的影格。其輸出包含獨立的剛體物件、帶有關節的可動部件，以及為物理模擬準備的可變形資產。對於建構互動式 3D 環境的讀者而言，其核心貢獻在於將視覺重建連結至模擬實際所需的幾何表示與行為檢查。

官方示範包括一條會伸展的電話線、會變形的塑膠袋、可壓縮的椅墊，以及可滑動的抽屜。在三個 Replica 與三個 ScanNet++ 場景上，作者報告的 Chamfer 距離分別為 6.63 cm 與 21.66 cm，相較之下，HoloScene 為 6.79 cm 與 27.15 cm。然而，HoloScene 保有較高的輸入視角 PSNR 與 SSIM。這些結果顯示可編輯幾何、物理可用性與光度保真度之間存在取捨；它們並未證明重建能力具有普遍優勢。可變形互動是能力示範，而非跨方法基準測試。實驗。

工作原理

工作流程分為三個階段：使用幾何與生成參考資料建構可編輯場景；細化外觀、關節與剛體位置；接著以相容於求解器的形式重建可變形物件並測試其行為。它協調預訓練感知模型、生成模型、代理、Blender 與模擬器，而不針對特定任務訓練新的場景生成器。官方方法概覽。

首先，VGGT-Omega 提供攝影機參數、深度與點映射，以固定佈局與尺寸。CropFormer 擷取物件遮罩，再將其反向投影並跨視角聚類成 3D 實例追蹤。SAM3D 為每個追蹤生成參考網格；REST3D 協助找回遺漏的小型物件。代理使用這些網格作為形狀參考，利用 Blender 基元與修改器重建家具。這會產生精簡且可編輯的幾何，並呈現可移動的組件，而不是直接將每個生成的網格視為最終資產。重建。

接著，渲染–評估–細化迴圈會將製作的場景與其輸入視角進行比較。逐通道二次色彩對齊 c′ = ac² + bc + d 有助於診斷錯誤：顯著改善表示光照或材質不匹配；改善幅度很小則指向幾何或姿態問題。代理會加入明確的關節，並在 MuJoCo 中讓物件受重力穩定下來，再將其穩定位置寫回場景。場景細化。

接著，可變形物件會進入獨立的代理工作階段。纜線會轉換為連續中心線加半徑，以進行桿件模擬；布料或紙張會轉換為中間曲面加厚度，以進行殼層模擬；椅墊會轉換為封閉實體，以進行四面體網格化。高解析度實體可以綁定至較簡單的模擬代理。可重複使用的模擬器技能會在 IPC 系列後端上初始化本構模型與接觸設定。幾何決定離散化方式，而行為則決定所選材質模型是否足夠。可變形物件重建。

最後，代理會規劃診斷用機器人互動，並檢查數值有效性與任務行為。失敗的試驗會依固定順序觸發修訂：運動、幾何、數值設定，最後是材質模型。在折紙測試中，彈性彎曲在數值上仍然有效，但會回彈。在相同的夾爪軌跡下，塑性鉸鏈在釋放後一秒仍保留峰值折疊角度的 92.5%，而彈性彎曲則為 3.7%。因此，該測試檢查的不只是模擬是否能在不崩潰的情況下執行。受控折疊實驗。

應用、可用性與未來方向

示範的輸出與機器人互動實驗及可編輯模擬環境相關；論文也指出其對遊戲與沉浸式內容創作具有潛在價值。其物理參數是在假設模型下採用的有效設定，而不是從真實動力學中恢復的測量值。截至 2026 年 11 月 6 日的檢查，官方專案頁面仍寫著「Code Soon」；頁面上沒有可供程式碼層級驗證的實作連結。論文沒有明確的未來工作路線圖。目前具體宣布的下一步是釋出程式碼，但未說明時間表。本文根據論文與官方資料撰寫，未重新執行該系統。專案與示範。

常見問答

它能從一張照片重建完整房間嗎？

經評估的工作流程使用多視角 RGB 觀測。一張照片並不是這項工作所示範的輸入設定。

為什麼纜線與椅墊使用不同的表示方式？

它們的力學需要不同的離散化方式。桿件表示細長的中心線，殼層表示薄表面，而實體有限元素表示體積；這避免將每個可變形物件都當作密集網格化的實體處理。

通過其機器人測試是否代表已辨識出真實材質？

不是。這些測試證明的是其與指定模擬互動的相容性。在沒有測量真實動力學的情況下，所採用的剛度、密度與接觸設定仍是有效的模擬參數。