CoDimRecon: Rekonstruksi Agentik Adegan 3D Siap Simulasi dengan Geometri yang Dapat Dideformasi

Makalah asli: ​CoDimRecon: Rekonstruksi Agentik Adegan 3D Siap Simulasi dengan Kurva, Permukaan, dan Volume yang Dapat Berubah Bentuk

Sorotan dan Hasil

CoDimRecon merekonstruksi lingkungan dalam ruangan yang dapat diedit dari gambar RGB multi-tampilan, termasuk bingkai yang diambil saat kamera bergerak melewati sebuah ruangan. Output-nya berisi objek-objek kaku terpisah, bagian-bagian berartikulasi dengan sambungan, dan aset yang dapat berubah bentuk yang disiapkan untuk simulasi fisik. Bagi pembaca yang membangun lingkungan 3D interaktif, kontribusi utamanya adalah menghubungkan rekonstruksi visual dengan representasi geometris dan pemeriksaan perilaku yang benar-benar dibutuhkan simulasi.

Demonstrasi resmi mencakup kabel telepon yang dapat diregangkan, kantong plastik yang berubah bentuk, bantalan kursi yang dapat dikompresi, dan laci yang dapat digeser. Pada tiga adegan Replica dan tiga adegan ScanNet++, penulis melaporkan jarak Chamfer masing-masing sebesar 6.63 cm dan 21.66 cm, dibandingkan dengan 6.79 cm dan 27.15 cm milik HoloScene. Namun, HoloScene mempertahankan PSNR dan SSIM tampilan input yang lebih tinggi. Hasil ini menunjukkan pertukaran antara geometri yang dapat diedit, kegunaan fisik, dan fidelitas fotometrik; hasil ini tidak menetapkan keunggulan rekonstruksi universal. Interaksi yang dapat berubah bentuk merupakan demonstrasi kemampuan, bukan tolok ukur lintas metode. Eksperimen.

Cara Kerjanya

Alur kerjanya memiliki tiga tahap: membangun adegan yang dapat diedit menggunakan referensi geometris dan yang dihasilkan; menyempurnakan tampilan, sambungan, dan penempatan benda kaku; kemudian merekonstruksi benda yang dapat berubah bentuk dalam bentuk yang kompatibel dengan solver dan menguji perilakunya. Sistem ini mengorkestrasi persepsi pralatih, generasi, agen, Blender, dan simulator tanpa melatih generator adegan baru yang spesifik tugas. Ikhtisar metode resmi.

Pertama, VGGT-Omega menyediakan parameter kamera, kedalaman, dan peta titik untuk menjadi jangkar tata letak dan dimensi. CropFormer mengekstrak mask objek, yang kemudian diproyeksikan balik dan dikelompokkan di berbagai tampilan menjadi trek instans 3D. SAM3D menghasilkan mesh referensi untuk setiap trek; REST3D membantu memulihkan objek kecil yang terlewatkan. Agen menggunakan mesh ini sebagai referensi bentuk, membangun ulang furnitur dari primitif dan modifier Blender. Ini menghasilkan geometri yang ringkas dan dapat diedit serta menampilkan komponen yang dapat digerakkan, alih-alih sekadar menerima setiap mesh yang dihasilkan sebagai aset akhir. Rekonstruksi.

Berikutnya, loop render–evaluasi–penyempurnaan membandingkan adegan yang dibuat dengan tampilan input-nya. Penyelarasan warna kuadratik per kanal, c′ = ac² + bc + d, membantu mendiagnosis kesalahan: peningkatan yang besar menunjukkan ketidakcocokan pencahayaan atau material; peningkatan yang kecil mengarah pada geometri atau pose. Agen menambahkan sambungan eksplisit dan menstabilkan objek di bawah gravitasi dalam MuJoCo, lalu menuliskan posisi yang telah distabilkan kembali ke dalam adegan. Penyempurnaan adegan.

Benda yang dapat berubah bentuk kemudian masuk ke sesi agen yang terpisah. Kabel menjadi garis tengah kontinu ditambah radius untuk simulasi batang; kain atau kertas menjadi permukaan tengah manifold ditambah ketebalan untuk simulasi selubung; bantalan menjadi benda padat tertutup untuk pembuatan mesh tetrahedral. Benda padat beresolusi tinggi dapat diikat ke proksi simulasi yang lebih sederhana. Keterampilan simulator yang dapat digunakan kembali menginisialisasi model konstitutif dan pengaturan kontak pada backend keluarga IPC. Geometri menentukan diskretisasi, sedangkan perilaku menentukan apakah model material yang dipilih sudah memadai. Rekonstruksi benda yang dapat berubah bentuk.

Terakhir, agen merencanakan interaksi robot diagnostik dan memeriksa validitas numerik serta perilaku tugas. Uji coba yang gagal memicu revisi dalam urutan tetap: gerakan, geometri, pengaturan numerik, lalu model material. Dalam pengujian pelipatan kertas, pembengkokan elastis tetap valid secara numerik tetapi kembali ke bentuk semula. Dengan lintasan gripper yang sama, engsel plastik mempertahankan 92.5% sudut lipatan puncak satu detik setelah dilepas, dibandingkan dengan 3.7% pada pembengkokan elastis. Dengan demikian, pengujian ini memeriksa lebih dari sekadar apakah simulasi berjalan tanpa mogok. Eksperimen pelipatan terkontrol.

Aplikasi, Ketersediaan, dan Arah Masa Depan

Output yang didemonstrasikan relevan untuk eksperimen interaksi robot dan lingkungan simulasi yang dapat diedit; makalah ini juga memotivasi pembuatan game dan konten imersif. Parameter fisiknya merupakan pengaturan efektif berdasarkan model yang diasumsikan, bukan pengukuran yang dipulihkan dari dinamika nyata. Saat diperiksa pada 6 November 2026, halaman proyek resmi masih menyatakan “Code Soon”; tidak ada implementasi yang ditautkan di sana yang tersedia untuk verifikasi tingkat kode. Makalah ini tidak menyediakan peta jalan pekerjaan masa depan yang eksplisit. Langkah berikutnya yang diumumkan secara konkret adalah perilisan kode, tanpa jadwal yang dinyatakan. Artikel ini didasarkan pada makalah dan materi resmi, tanpa menjalankan ulang sistem. Proyek dan demonstrasi.