CoDimRecon: Agentowa rekonstrukcja scen 3D gotowych do symulacji z deformowalną geometrią

Oryginalny artykuł: ​CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

Najważniejsze informacje i wyniki

CoDimRecon rekonstruuje edytowalne środowisko wewnętrzne na podstawie wielowidokowych obrazów RGB, w tym klatek zarejestrowanych podczas przemieszczania kamery przez pomieszczenie. Jego wynik zawiera oddzielne obiekty sztywne, części przegubowe ze stawami oraz obiekty deformowalne przygotowane do symulacji fizycznej. Dla osób budujących interaktywne środowiska 3D najważniejszym wkładem jest połączenie rekonstrukcji wizualnej z reprezentacjami geometrycznymi i testami zachowania, których faktycznie wymaga symulacja.

Oficjalne demonstracje obejmują rozciągany przewód telefoniczny, deformującą się plastikową torbę, ściśliwą poduszkę krzesła oraz wysuwaną szufladę. W przypadku trzech scen Replica i trzech scen ScanNet++ autorzy podają odległości Chamfera wynoszące odpowiednio 6,63 cm i 21,66 cm, w porównaniu z 6,79 cm i 27,15 cm dla HoloScene. HoloScene zachowuje jednak wyższe wartości PSNR i SSIM dla widoków wejściowych. Wyniki te pokazują kompromis między edytowalną geometrią, użytecznością fizyczną a wiernością fotometryczną; nie dowodzą uniwersalnej wyższości w rekonstrukcji. Interakcje deformowalne są demonstracjami możliwości, a nie benchmarkiem między metodami. Eksperymenty.

Jak to działa

Przepływ pracy ma trzy etapy: utworzenie edytowalnej sceny z wykorzystaniem odniesień geometrycznych i generowanych; dopracowanie wyglądu, stawów i rozmieszczenia ciał sztywnych; następnie rekonstrukcja obiektów deformowalnych w formach zgodnych z solverem i testowanie ich zachowania. Koordynuje on wstępnie wytrenowane moduły percepcji i generowania, agenta, Blendera oraz symulatory, bez trenowania nowego generatora scen dla konkretnego zadania. Oficjalny opis metody.

Najpierw VGGT-Omega dostarcza parametry kamery, głębię i mapy punktów, aby zakotwiczyć układ i wymiary. CropFormer wyodrębnia maski obiektów, które są rzutowane wstecz i grupowane między widokami w ścieżki instancji 3D. SAM3D generuje siatkę referencyjną dla każdej ścieżki; REST3D pomaga odzyskać małe pominięte obiekty. Agent wykorzystuje te siatki jako odniesienia kształtu, odtwarzając meble z użyciem prymitywów i modyfikatorów Blendera. W ten sposób powstaje zwarta, edytowalna geometria i ujawniane są ruchome komponenty, zamiast prostego przyjęcia każdej wygenerowanej siatki jako obiektu końcowego. Rekonstrukcja.

Następnie pętla renderowania, oceny i dopracowywania porównuje utworzoną scenę z jej widokami wejściowymi. Kwadratowe dopasowanie kolorów dla poszczególnych kanałów, c′ = ac² + bc + d, pomaga diagnozować błędy: znaczna poprawa sugeruje niezgodność oświetlenia lub materiału; niewielka poprawa wskazuje na geometrię lub pozę. Agent dodaje jawne stawy i stabilizuje obiekty pod wpływem grawitacji w MuJoCo, zapisując ich ustabilizowane pozycje z powrotem w scenie. Dopracowanie sceny.

Obiekty deformowalne trafiają następnie do oddzielnych sesji agenta. Kabel staje się ciągłą linią środkową wraz z promieniem na potrzeby symulacji prętowej; tkanina lub papier stają się rozmaitością środkową wraz z grubością na potrzeby symulacji powłokowej; poduszka staje się zamkniętą bryłą na potrzeby tworzenia siatki tetraedrycznej. Bryły o wysokiej rozdzielczości mogą być powiązane z prostszym proxy symulacyjnym. Wielokrotnego użytku umiejętności symulatora inicjalizują modele konstytutywne i ustawienia kontaktu na backendzie z rodziny IPC. Geometria określa dyskretyzację, natomiast zachowanie decyduje o tym, czy wybrany model materiału jest wystarczający. Rekonstrukcja obiektów deformowalnych.

Na koniec agent planuje diagnostyczne interakcje robota i sprawdza zarówno poprawność numeryczną, jak i zachowanie podczas zadania. Nieudane próby uruchamiają poprawki w ustalonej kolejności: ruch, geometria, ustawienia numeryczne, a następnie model materiału. W teście składania papieru sprężyste zginanie pozostaje poprawne numerycznie, ale powoduje odskoczenie. Przy tej samej trajektorii chwytaka zawiasy plastyczne zachowują 92,5% maksymalnego kąta zgięcia po upływie jednej sekundy od zwolnienia, w porównaniu z 3,7% w przypadku zginania sprężystego. Test sprawdza więc więcej niż tylko to, czy symulacja uruchamia się bez awarii. Eksperyment kontrolowanego składania.

Zastosowania, dostępność i przyszłe kierunki

Zaprezentowane wyniki są istotne dla eksperymentów z interakcjami robotów i edytowalnych środowisk symulacyjnych; artykuł wskazuje również na zastosowania w grach oraz tworzeniu treści immersyjnych. Ich parametry fizyczne są efektywnymi ustawieniami przy założeniu określonych modeli, a nie pomiarami odzyskanymi z rzeczywistej dynamiki. Według stanu na 6 listopada 2026 r. oficjalna strona projektu nadal zawiera komunikat „Code Soon”; żadna implementacja do niej prowadząca nie była dostępna do weryfikacji na poziomie kodu. Artykuł nie przedstawia wyraźnego planu dalszych prac. Konkretnym ogłoszonym kolejnym krokiem jest wydanie kodu, bez podanego harmonogramu. Niniejszy artykuł opiera się na publikacji i oficjalnych materiałach, bez ponownego uruchamiania systemu. Projekt i demonstracje.