CoDimRecon: Pembinaan Semula Agentik Adegan 3D Sedia Simulasi dengan Geometri Boleh Ubah Bentuk

Kertas asal: ​CoDimRecon: Pembinaan Semula Agenik Adegan 3D Sedia Simulasi dengan Lengkung, Permukaan dan Isipadu Boleh Ubah Bentuk

Sorotan dan Hasil

CoDimRecon membina semula persekitaran dalaman yang boleh disunting daripada imej RGB berbilang pandangan, termasuk bingkai yang dirakam semasa kamera bergerak melalui sebuah bilik. Outputnya mengandungi objek tegar berasingan, bahagian berartikulasi dengan sendi, dan aset boleh ubah bentuk yang disediakan untuk simulasi fizikal. Bagi pembaca yang membina persekitaran 3D interaktif, sumbangan utamanya ialah menghubungkan pembinaan semula visual dengan perwakilan geometri dan semakan tingkah laku yang sebenarnya diperlukan oleh simulasi.

Demonstrasi rasmi merangkumi kord telefon yang diregangkan, beg plastik yang berubah bentuk, kusyen kerusi yang boleh dimampatkan dan laci yang boleh diluncurkan. Pada tiga adegan Replica dan tiga adegan ScanNet++, penulis melaporkan jarak Chamfer masing-masing sebanyak 6.63 cm dan 21.66 cm, berbanding 6.79 cm dan 27.15 cm untuk HoloScene. Walau bagaimanapun, HoloScene mengekalkan PSNR dan SSIM pandangan input yang lebih tinggi. Hasil ini menunjukkan pertukaran antara geometri boleh disunting, kebolehgunaan fizikal dan kesetiaan fotometri; hasil ini tidak membuktikan keunggulan pembinaan semula secara universal. Interaksi boleh ubah bentuk ialah demonstrasi keupayaan, bukan penanda aras merentas kaedah. Eksperimen.

Cara Ia Berfungsi

Aliran kerja ini mempunyai tiga peringkat: membina adegan boleh disunting menggunakan rujukan geometri dan janaaan; memperhalus rupa, sendi dan penempatan badan tegar; kemudian membina semula objek boleh ubah bentuk dalam bentuk yang serasi dengan penyelesai dan menguji tingkah lakunya. Ia mengatur persepsi pralatih, penjanaan, ejen, Blender dan simulator tanpa melatih penjana adegan baharu yang khusus untuk tugasan. Gambaran keseluruhan kaedah rasmi.

Pertama, VGGT-Omega menyediakan parameter kamera, kedalaman dan peta titik untuk menetapkan susun atur serta dimensi. CropFormer mengekstrak topeng objek, yang diunjurkan semula dan dikelompokkan merentas pandangan menjadi jejak tika 3D. SAM3D menjana jejaring rujukan bagi setiap jejak; REST3D membantu memulihkan objek kecil yang tertinggal. Ejen menggunakan jejaring ini sebagai rujukan bentuk, membina semula perabot daripada primitif dan pengubah Blender. Ini menghasilkan geometri yang padat dan boleh disunting serta mendedahkan komponen boleh bergerak, berbanding sekadar menerima setiap jejaring yang dijana sebagai aset akhir. Pembinaan semula.

Seterusnya, gelung render–nilai–perhalus membandingkan adegan yang dihasilkan dengan pandangan inputnya. Penjajaran warna kuadratik mengikut saluran, c′ = ac² + bc + d, membantu mendiagnosis ralat: peningkatan yang ketara menunjukkan ketidakpadanan pencahayaan atau bahan; peningkatan yang kecil menunjukkan geometri atau pose. Ejen menambah sendi eksplisit dan menstabilkan objek di bawah graviti dalam MuJoCo, lalu menulis kedudukan stabilnya kembali ke dalam adegan. Penambahbaikan adegan.

Objek boleh ubah bentuk kemudiannya memasuki sesi ejen berasingan. Kabel menjadi garis tengah berterusan bersama jejari untuk simulasi rod; kain atau kertas menjadi permukaan tengah manifold bersama ketebalan untuk simulasi cangkerang; kusyen menjadi pepejal tertutup untuk penghasilan jejaring tetrahedron. Pepejal beresolusi tinggi boleh diikat pada proksi simulasi yang lebih ringkas. Kemahiran simulator yang boleh diguna semula memulakan model konstitutif dan tetapan sentuhan pada bahagian belakang keluarga IPC. Geometri menentukan pendiskretan, manakala tingkah laku menentukan sama ada model bahan yang dipilih adalah memadai. Pembinaan semula objek boleh ubah bentuk.

Akhir sekali, ejen merancang interaksi robot diagnostik dan menyemak kesahan berangka serta tingkah laku tugasan. Percubaan yang gagal mencetuskan semakan mengikut susunan tetap: gerakan, geometri, tetapan berangka, kemudian model bahan. Dalam ujian melipat kertas, lenturan elastik kekal sah dari segi berangka tetapi kembali melantun. Di bawah trajektori pencengkam yang sama, engsel plastik mengekalkan 92.5% sudut lipatan puncak satu saat selepas dilepaskan, berbanding 3.7% dengan lenturan elastik. Oleh itu, ujian ini menyemak lebih daripada sekadar sama ada simulasi berjalan tanpa mengalami kerosakan. Eksperimen lipatan terkawal.

Aplikasi, Ketersediaan & Hala Tuju Masa Hadapan

Output yang ditunjukkan adalah relevan kepada eksperimen interaksi robot dan persekitaran simulasi boleh disunting; kertas ini juga memberikan motivasi untuk penciptaan kandungan permainan dan imersif. Parameter fizikalnya ialah tetapan berkesan di bawah model yang diandaikan, bukan ukuran yang dipulihkan daripada dinamik sebenar. Setakat semakan pada 6 November 2026, halaman projek rasmi masih menyatakan “Code Soon”; tiada pelaksanaan yang dipautkan di situ tersedia untuk pengesahan pada peringkat kod. Kertas ini tidak menyediakan pelan hala tuju kerja masa hadapan yang eksplisit. Langkah seterusnya yang diumumkan secara konkrit ialah penerbitan kod, tanpa jadual masa yang dinyatakan. Artikel ini berdasarkan kertas dan bahan rasmi, tanpa menjalankan semula sistem. Projek dan demonstrasi.