CoDimRecon: Agentic na Rekonstruksyon ng mga Sim-Ready na 3D Scene na may Deformable na Geometry

Orihinal na papel: ​CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

Mga Tampok at Resulta

Muling binubuo ng CoDimRecon ang isang nae-edit na panloob na kapaligiran mula sa mga RGB na larawan mula sa maraming view, kabilang ang mga frame na nakunan habang ginagalaw ang camera sa loob ng isang silid. Naglalaman ang output nito ng magkakahiwalay na matitigas na bagay, mga articulated na bahagi na may mga joint, at mga deformable na asset na inihanda para sa pisikal na simulation. Para sa mga mambabasang gumagawa ng mga interactive na 3D environment, ang pangunahing ambag ay ang pag-uugnay ng visual reconstruction sa mga geometric na representasyon at pagsusuri ng gawi na aktuwal na kinakailangan ng simulation.

Kabilang sa mga opisyal na demonstrasyon ang isang nababanat na kurdon ng telepono, isang nade-deform na plastic bag, isang napi-compress na cushion ng upuan, at isang sliding drawer. Sa tatlong Replica at tatlong ScanNet++ na eksena, iniulat ng mga may-akda ang mga Chamfer distance na 6.63 cm at 21.66 cm, ayon sa pagkakasunod, kumpara sa 6.79 cm at 27.15 cm ng HoloScene. Gayunman, nananatiling mas mataas sa HoloScene ang PSNR at SSIM ng input view. Ipinapakita ng mga resultang ito ang tradeoff sa pagitan ng nae-edit na geometry, pisikal na kakayahang magamit, at photometric fidelity; hindi nito itinatatag ang unibersal na kahigitan sa reconstruction. Ang mga deformable interaction ay mga demonstrasyon ng kakayahan, hindi benchmark sa pagitan ng mga pamamaraan. Mga eksperimento.

Paano Ito Gumagana

May tatlong yugto ang workflow: bumuo ng nae-edit na eksena gamit ang mga geometric at generated reference; pinuhin ang appearance, mga joint, at pagkakalagay ng matitigas na katawan; pagkatapos ay muling buuin ang mga deformable sa mga anyong compatible sa solver at subukan ang kanilang gawi. Ina-orchestrate nito ang pretrained perception, generation, isang agent, Blender, at mga simulator nang hindi nagsasanay ng bagong scene generator na partikular sa gawain. Opisyal na pangkalahatang-ideya ng pamamaraan.

Una, nagbibigay ang VGGT-Omega ng mga parameter ng camera, depth, at mga point map upang iangkla ang layout at mga sukat. Kumukuha ang CropFormer ng mga mask ng bagay, na bina-back-project at kino-cluster sa iba’t ibang view upang maging mga 3D instance track. Bumubuo ang SAM3D ng reference mesh para sa bawat track; tumutulong ang REST3D na mabawi ang maliliit na bagay na hindi naisama. Ginagamit ng agent ang mga mesh na ito bilang mga reference ng hugis, at muling binubuo ang mga muwebles mula sa mga primitive at modifier ng Blender. Gumagawa ito ng compact at nae-edit na geometry at inilalantad ang mga movable component, sa halip na basta tanggapin ang bawat generated mesh bilang final asset. Reconstruction.

Sunod, inihahambing ng isang render–evaluate–refine loop ang binuong eksena sa mga input view nito. Tumutulong ang per-channel quadratic color alignment, c′ = ac² + bc + d, na matukoy ang mga error: ang malaking pagbuti ay nagpapahiwatig ng hindi pagtutugma sa lighting o material; ang kaunting pagbuti ay tumutukoy sa geometry o pose. Nagdaragdag ang agent ng mga tahasang joint at pinapapirmi ang mga bagay sa ilalim ng gravity sa MuJoCo, at isinusulat ang mga na-stabilize na posisyon ng mga ito pabalik sa eksena. Pagpino ng eksena.

Pagkatapos ay pumapasok ang mga deformable sa magkakahiwalay na agent session. Ang cable ay nagiging tuloy-tuloy na centerline kasama ang radius para sa rod simulation; ang tela o papel ay nagiging manifold midsurface kasama ang kapal para sa shell simulation; ang cushion ay nagiging saradong solid para sa tetrahedral meshing. Maaaring i-bind ang mga high-resolution solid sa isang mas simpleng simulation proxy. Ini-initialize ng mga reusable simulator skill ang mga constitutive model at contact setting sa isang backend na kabilang sa IPC family. Tinutukoy ng geometry ang discretization, habang tinutukoy ng gawi kung sapat ang napiling material model. Deformable reconstruction.

Sa huli, nagpaplano ang agent ng mga diagnostic robot interaction at sinusuri ang numerical validity at gawi ng gawain. Ang mga nabigong trial ay nagti-trigger ng mga rebisyon sa takdang pagkakasunod-sunod: motion, geometry, numerical setting, pagkatapos ay material model. Sa paper-folding test, nananatiling numerically valid ang elastic bending ngunit bumabalik sa dati nitong hugis. Sa parehong gripper trajectory, napapanatili ng mga plastic hinge ang 92.5% ng peak fold angle isang segundo matapos bitawan, kumpara sa 3.7% kapag elastic bending. Samakatuwid, sinusuri ng test ang higit pa sa kung tumatakbo ang isang simulation nang hindi nagka-crash. Controlled folding experiment.

Mga Aplikasyon, Availability, at Mga Direksiyong Hinaharap

May kaugnayan ang mga ipinakitang output sa mga eksperimento sa robot interaction at nae-edit na simulation environment; nagbibigay rin ang papel ng motibasyon para sa gaming at immersive content creation. Ang kanilang mga pisikal na parameter ay mga epektibong setting sa ilalim ng ipinapalagay na mga modelo, hindi mga sukat na nakuha mula sa totoong dynamics. Noong sinuri noong Nobyembre 6, 2026, sinasabi pa rin ng opisyal na project page na “Code Soon”; walang implementation na naka-link doon ang available para sa code-level verification. Walang tahasang roadmap para sa future work ang papel. Ang konkretong inanunsiyang susunod na hakbang ay ang paglabas ng code, nang walang itinakdang iskedyul. Batay ang artikulong ito sa papel at mga opisyal na materyal, nang hindi muling pinatakbo ang system. Proyekto at mga demonstrasyon.