CoDimRecon: 変形可能ジオメトリを用いたシミュレーション対応 3D シーンのエージェント型再構成

原論文: ​CoDimRecon: 変形可能な曲線・曲面・体積によるシミュレーション対応 3D シーンのエージェント型再構成

ハイライトと結果

CoDimRecon は、部屋の中をカメラで移動しながら撮影したフレームを含むマルチビュー RGB 画像から、編集可能な屋内環境を再構成します。その出力には、個別の剛体オブジェクト、ジョイントを備えた関節パーツ、物理シミュレーション用に準備された変形可能アセットが含まれます。インタラクティブな 3D 環境を構築する読者にとって、中心的な貢献は、視覚的な再構成を、実際のシミュレーションで必要となる幾何学的表現および挙動チェックに接続したことです。

公式デモンストレーションには、伸びる電話コード、変形するビニール袋、圧縮可能な椅子のクッション、スライド式の引き出しが含まれます。3 つの Replica シーンと 3 つの ScanNet++ シーンにおいて、著者らは Chamfer 距離としてそれぞれ 6.63 cm と 21.66 cm を報告しており、HoloScene の 6.79 cm と 27.15 cm を下回っています。ただし、HoloScene は入力ビューの PSNR と SSIM ではより高い値を維持しています。これらの結果は、編集可能なジオメトリ、物理的な利用可能性、フォトメトリック忠実度の間にトレードオフがあることを示しますが、再構成の普遍的な優位性を確立するものではありません。変形可能なインタラクションは機能のデモンストレーションであり、手法横断のベンチマークではありません。実験。

仕組み

ワークフローは 3 段階で構成されます。幾何学的および生成された参照を使用して編集可能なシーンを構築し、外観、ジョイント、剛体の配置を改良し、その後、変形可能なオブジェクトをソルバー互換形式で再構成して挙動をテストします。新しいシーン生成器をタスク固有に訓練することなく、事前学習済みの知覚モデル、生成モデル、エージェント、Blender、シミュレータを連携させます。公式手法概要。

まず、VGGT-Omega がカメラパラメータ、深度、点群マップを提供し、レイアウトと寸法の基準を作ります。CropFormer はオブジェクトマスクを抽出し、それらを逆投影してビュー間でクラスタリングし、3D インスタンストラックにします。SAM3D は各トラックの参照メッシュを生成し、REST3D は小さく欠落したオブジェクトの復元を支援します。エージェントはこれらのメッシュを形状参照として使用し、Blender のプリミティブとモディファイアから家具を再構築します。これにより、コンパクトで編集可能なジオメトリが生成され、生成されたすべてのメッシュを最終アセットとして単純に受け入れるのではなく、可動コンポーネントが明示されます。再構成。

次に、レンダー–評価–改良ループが、作成したシーンと入力ビューを比較します。チャネルごとの二次カラーアライメント c′ = ac² + bc + d は、誤差の診断に役立ちます。大幅な改善はライティングまたはマテリアルの不一致を示唆し、改善が小さい場合はジオメトリまたはポーズに原因がある可能性を示します。エージェントは明示的なジョイントを追加し、MuJoCo で重力下のオブジェクトを安定させ、その安定化された位置をシーンに書き戻します。シーン改良。

次に、変形可能オブジェクトは別々のエージェントセッションに入ります。ケーブルはロッドシミュレーション用に連続した中心線と半径として表現され、布や紙はシェルシミュレーション用に多様体中間曲面と厚さとして表現され、クッションは四面体メッシュ生成用に閉じたソリッドとして表現されます。高解像度のソリッドは、より単純なシミュレーションプロキシにバインドできます。再利用可能なシミュレータスキルが、IPC ファミリーのバックエンド上で構成モデルと接触設定を初期化します。ジオメトリが離散化を決定し、挙動が選択した材料モデルの適切性を決定します。変形可能オブジェクトの再構成。

最後に、エージェントは診断用ロボットインタラクションを計画し、数値的妥当性とタスク挙動の両方をチェックします。試行に失敗すると、固定された順序で改訂が行われます。すなわち、動作、ジオメトリ、数値設定、材料モデルの順です。紙折りテストでは、弾性曲げは数値的には有効なままですが、元に戻ります。同じグリッパ軌道の下で、塑性ヒンジは解放 1 秒後もピーク折り曲げ角度の 92.5% を維持するのに対し、弾性曲げでは 3.7% となります。したがって、このテストはシミュレーションがクラッシュせずに実行されるかどうか以上のことを検証します。制御折り曲げ実験。

応用、公開状況、今後の方向性

実証された出力は、ロボットインタラクション実験や編集可能なシミュレーション環境に関連しており、この論文はゲームや没入型コンテンツ制作にも応用可能性を示しています。物理パラメータは、想定したモデルの下で有効な設定であり、実際のダイナミクスから復元された測定値ではありません。2026 年 11 月 6 日時点で確認したところ、公式プロジェクトページには依然として「Code Soon」と記載されており、コードレベルで検証できる実装へのリンクはありませんでした。この論文には、明示的な今後の研究計画は示されていません。具体的に発表されている次のステップはコードの公開であり、時期は示されていません。この記事は論文と公式資料に基づくもので、システムを再実行したものではありません。プロジェクトとデモンストレーション。