CoDimRecon: Tái dựng cảnh 3D sẵn sàng cho mô phỏng bằng tác tử với hình học biến dạng

Bài báo gốc: ​CoDimRecon: Tái dựng tác tử các cảnh 3D sẵn sàng mô phỏng với các đường cong, bề mặt và thể tích biến dạng

Điểm nổi bật và kết quả

CoDimRecon tái dựng một môi trường trong nhà có thể chỉnh sửa từ các hình ảnh RGB đa góc nhìn, bao gồm cả các khung hình được ghi lại khi di chuyển camera qua một căn phòng. Đầu ra chứa các vật thể cứng riêng biệt, các bộ phận khớp nối có khớp và các tài sản biến dạng được chuẩn bị cho mô phỏng vật lý. Đối với những người xây dựng môi trường 3D tương tác, đóng góp cốt lõi là kết nối việc tái dựng hình ảnh với các biểu diễn hình học và kiểm tra hành vi mà mô phỏng thực sự yêu cầu.

Các bản trình diễn chính thức bao gồm một dây điện thoại bị kéo giãn, một túi nhựa bị biến dạng, một đệm ghế có thể nén và một ngăn kéo trượt. Trên ba cảnh Replica và ba cảnh ScanNet++, các tác giả báo cáo khoảng cách Chamfer lần lượt là 6.63 cm và 21.66 cm, so với 6.79 cm và 27.15 cm của HoloScene. Tuy nhiên, HoloScene vẫn giữ PSNR và SSIM của góc nhìn đầu vào cao hơn. Những kết quả này cho thấy sự đánh đổi giữa hình học có thể chỉnh sửa, khả năng sử dụng vật lý và độ trung thực quang trắc; chúng không chứng minh ưu thế tái dựng mang tính phổ quát. Các tương tác biến dạng là những minh họa về khả năng, không phải một phép đối chuẩn giữa các phương pháp. Thí nghiệm.

Cách hoạt động

Quy trình gồm ba giai đoạn: xây dựng một cảnh có thể chỉnh sửa bằng các tham chiếu hình học và tham chiếu được sinh; tinh chỉnh diện mạo, khớp và vị trí vật thể cứng; sau đó tái dựng các vật thể biến dạng dưới những dạng tương thích với bộ giải và kiểm tra hành vi của chúng. Quy trình điều phối nhận thức được huấn luyện trước, quá trình sinh, một tác tử, Blender và các trình mô phỏng mà không cần huấn luyện riêng một bộ sinh cảnh mới cho từng tác vụ. Tổng quan phương pháp chính thức.

Đầu tiên, VGGT-Omega cung cấp các tham số camera, độ sâu và bản đồ điểm để neo bố cục và kích thước. CropFormer trích xuất các mặt nạ vật thể, sau đó chúng được chiếu ngược và phân cụm qua các góc nhìn thành các vệt đối tượng 3D. SAM3D sinh một lưới tham chiếu cho mỗi vệt; REST3D hỗ trợ khôi phục các vật thể nhỏ bị bỏ sót. Tác tử sử dụng các lưới này làm tham chiếu hình dạng, tái dựng đồ nội thất từ các nguyên thủy và bộ điều chỉnh của Blender. Cách này tạo ra hình học nhỏ gọn, có thể chỉnh sửa và làm lộ ra các thành phần có thể chuyển động, thay vì đơn giản chấp nhận mọi lưới được sinh làm tài sản cuối cùng. Tái dựng.

Tiếp theo, một vòng lặp kết xuất–đánh giá–tinh chỉnh so sánh cảnh được biên soạn với các góc nhìn đầu vào. Căn chỉnh màu bậc hai theo từng kênh, c′ = ac² + bc + d, giúp chẩn đoán lỗi: mức cải thiện đáng kể cho thấy sự không khớp về ánh sáng hoặc vật liệu; mức cải thiện nhỏ hướng đến hình học hoặc tư thế. Tác tử thêm các khớp tường minh và đưa các vật thể về trạng thái ổn định dưới tác động của trọng lực trong MuJoCo, rồi ghi các vị trí đã ổn định trở lại cảnh. Tinh chỉnh cảnh.

Các vật thể biến dạng sau đó được đưa vào những phiên tác tử riêng biệt. Một sợi cáp trở thành đường tâm liên tục cộng với bán kính để mô phỏng thanh; vải hoặc giấy trở thành một mặt giữa đa tạp cộng với độ dày để mô phỏng vỏ; một đệm trở thành một khối đặc kín để tạo lưới tứ diện. Các khối đặc có độ phân giải cao có thể liên kết với một proxy mô phỏng đơn giản hơn. Các kỹ năng trình mô phỏng có thể tái sử dụng khởi tạo các mô hình cấu thành và thiết lập tiếp xúc trên một backend thuộc họ IPC. Hình học quyết định phép rời rạc hóa, trong khi hành vi quyết định liệu mô hình vật liệu được chọn có đủ phù hợp hay không. Tái dựng vật thể biến dạng.

Cuối cùng, tác tử lập kế hoạch các tương tác robot chẩn đoán và kiểm tra cả tính hợp lệ số học lẫn hành vi của tác vụ. Các lần thử thất bại kích hoạt các bản sửa đổi theo thứ tự cố định: chuyển động, hình học, thiết lập số học, sau đó là mô hình vật liệu. Trong thử nghiệm gấp giấy, uốn đàn hồi vẫn hợp lệ về mặt số học nhưng bị bật trở lại. Với cùng quỹ đạo kẹp, các bản lề nhựa giữ lại 92.5% góc gấp cực đại một giây sau khi thả, so với 3.7% khi uốn đàn hồi. Vì vậy, thử nghiệm kiểm tra nhiều hơn việc một mô phỏng có chạy mà không bị lỗi hay không. Thí nghiệm gấp có kiểm soát.

Ứng dụng, khả năng cung cấp và hướng phát triển tương lai

Các đầu ra được trình diễn có liên quan đến các thí nghiệm tương tác robot và môi trường mô phỏng có thể chỉnh sửa; bài báo cũng gợi mở các ứng dụng trong trò chơi và sáng tạo nội dung nhập vai. Các tham số vật lý của chúng là những thiết lập hiệu dụng theo các mô hình giả định, không phải các phép đo được khôi phục từ động lực học thực. Tại thời điểm kiểm tra ngày 6 tháng 11 năm 2026, trang dự án chính thức vẫn ghi “Code Soon”; không có bản triển khai nào được liên kết tại đó để kiểm chứng ở cấp độ mã. Bài báo không cung cấp lộ trình công việc tương lai rõ ràng. Bước tiếp theo cụ thể được công bố là phát hành mã nguồn, nhưng không nêu thời gian biểu. Bài viết này dựa trên bài báo và các tài liệu chính thức, không chạy lại hệ thống. Dự án và các bản trình diễn.