CoDimRecon: 변형 가능한 기하 구조를 활용한 시뮬레이션 준비형 3D 장면의 에이전트 기반 재구성

원 논문: ​CoDimRecon: 변형 가능한 곡선, 표면 및 체적을 활용한 시뮬레이션 준비형 3D 장면의 에이전트 기반 재구성

주요 내용 및 결과

CoDimRecon은 방 안을 이동하며 카메라로 촬영한 프레임을 포함한 다중 시점 RGB 이미지로부터 편집 가능한 실내 환경을 재구성합니다. 출력물에는 개별 강체 객체, 관절이 있는 관절식 부품, 물리 시뮬레이션을 위해 준비된 변형 가능한 에셋이 포함됩니다. 상호작용형 3D 환경을 구축하는 독자에게 핵심적인 기여는 시각적 재구성을 시뮬레이션에 실제로 필요한 기하학적 표현 및 동작 검사와 연결하는 것입니다.

공식 시연에는 늘어나는 전화선, 변형되는 비닐봉지, 압축 가능한 의자 쿠션, 미끄러지는 서랍이 포함됩니다. 3개의 Replica 및 3개의 ScanNet++ 장면에서 저자들은 HoloScene의 6.79 cm 및 27.15 cm에 비해 각각 6.63 cm 및 21.66 cm의 Chamfer 거리를 보고합니다. 그러나 HoloScene은 더 높은 입력 시점 PSNR 및 SSIM을 유지합니다. 이러한 결과는 편집 가능한 기하학, 물리적 사용성, 광도 측정 충실도 사이의 상충 관계를 보여주지만, 보편적으로 우수한 재구성 성능을 입증하지는 않습니다. 변형 가능한 상호작용은 기능 시연이며, 방법 간 벤치마크가 아닙니다. 실험.

작동 방식

워크플로는 세 단계로 구성됩니다. 기하학적 참조 및 생성된 참조를 사용해 편집 가능한 장면을 구성하고, 외형과 관절 및 강체 배치를 정제한 다음, 솔버 호환 형식으로 변형 가능한 객체를 재구성하고 동작을 테스트합니다. 새로운 장면 생성기를 작업별로 학습하지 않고, 사전 학습된 인식 모델, 생성 모델, 에이전트, Blender 및 시뮬레이터를 오케스트레이션합니다. 공식 방법 개요.

먼저 VGGT-Omega가 카메라 파라미터, 깊이 및 점 맵을 제공해 배치와 치수를 정렬합니다. CropFormer는 객체 마스크를 추출하고, 이를 역투영한 뒤 여러 시점에 걸쳐 클러스터링하여 3D 인스턴스 추적을 생성합니다. SAM3D는 각 추적에 대한 참조 메시를 생성하고, REST3D는 누락된 작은 객체를 복원하는 데 도움을 줍니다. 에이전트는 이러한 메시를 형태 참조로 사용하여 Blender 프리미티브와 수정자를 통해 가구를 재구성합니다. 이를 통해 간결하고 편집 가능한 기하학이 생성되며, 생성된 모든 메시를 최종 에셋으로 그대로 수용하는 대신 이동 가능한 구성 요소가 드러납니다. 재구성.

다음으로 렌더링–평가–정제 루프가 작성된 장면을 입력 시점과 비교합니다. 채널별 이차 색상 정렬인 c′ = ac² + bc + d는 오류를 진단하는 데 도움을 줍니다. 상당한 개선은 조명 또는 재질 불일치를 시사하고, 개선이 거의 없으면 기하학 또는 포즈 문제를 가리킵니다. 에이전트는 명시적 관절을 추가하고 MuJoCo에서 중력 아래 객체를 안정화한 뒤, 안정화된 위치를 장면에 다시 기록합니다. 장면 정제.

그런 다음 변형 가능한 객체가 별도의 에이전트 세션으로 들어갑니다. 케이블은 막대 시뮬레이션을 위해 연속 중심선과 반지름으로 변환되고, 천이나 종이는 셸 시뮬레이션을 위해 매니폴드 중간면과 두께로 변환되며, 쿠션은 사면체 메시 생성을 위해 닫힌 솔리드로 변환됩니다. 고해상도 솔리드는 더 단순한 시뮬레이션 프록시에 결합할 수 있습니다. 재사용 가능한 시뮬레이터 스킬은 IPC 계열 백엔드에서 구성 모델과 접촉 설정을 초기화합니다. 기하학은 이산화를 결정하고, 동작은 선택한 재료 모델이 적절한지 결정합니다. 변형 가능한 객체 재구성.

마지막으로 에이전트는 진단용 로봇 상호작용을 계획하고 수치적 유효성과 작업 동작을 모두 검사합니다. 실패한 시도는 고정된 순서에 따라 수정됩니다. 동작, 기하학, 수치 설정, 재료 모델 순입니다. 종이 접기 테스트에서 탄성 굽힘은 수치적으로 유효한 상태를 유지하지만 다시 튕겨 나옵니다. 동일한 그리퍼 궤적에서 소성 힌지는 놓은 지 1초 후 최대 접힘 각도의 92.5%를 유지하는 반면, 탄성 굽힘은 3.7%만 유지합니다. 따라서 이 테스트는 시뮬레이션이 충돌 없이 실행되는지만을 확인하는 것이 아닙니다. 제어된 접기 실험.

응용 분야, 제공 현황 및 향후 방향

시연된 출력물은 로봇 상호작용 실험과 편집 가능한 시뮬레이션 환경에 관련성이 있으며, 이 논문은 게임 및 몰입형 콘텐츠 제작에도 동기를 부여합니다. 물리 파라미터는 가정된 모델에 따른 유효 설정이지, 실제 동역학에서 복원된 측정값이 아닙니다. 2026년 11월 6일에 확인한 결과, 공식 프로젝트 페이지에는 여전히 “Code Soon”이라고 표시되어 있으며, 코드 수준의 검증에 사용할 수 있는 구현은 해당 페이지에 연결되어 있지 않았습니다. 논문은 명시적인 향후 연구 로드맵을 제공하지 않습니다. 구체적으로 발표된 다음 단계는 코드 공개이며, 정해진 일정은 제시되지 않았습니다. 이 글은 시스템을 다시 실행하지 않고 논문과 공식 자료를 바탕으로 작성되었습니다. 프로젝트 및 시연.