CoDimRecon: Deforme Edilebilir Geometri ile Simülasyona Hazır 3B Sahnelerin Ajan Tabanlı Yeniden Oluşturulması

Orijinal makale: ​CoDimRecon: Deforme Edilebilir Eğriler, Yüzeyler ve Hacimlerle Simülasyona Hazır 3B Sahnelerin Ajan Tabanlı Yeniden Oluşturulması

Öne Çıkanlar ve Sonuçlar

CoDimRecon, bir kameranın oda içinde hareket ettirilmesi sırasında yakalanan kareler de dahil olmak üzere, çoklu görünüşlü RGB görüntülerinden düzenlenebilir bir iç mekânı yeniden oluşturur. Çıktısı ayrı rijit nesneler, eklemlere sahip mafsallı parçalar ve fiziksel simülasyon için hazırlanmış deforme edilebilir varlıklar içerir. Etkileşimli 3B ortamlar oluşturan okuyucular için temel katkı, görsel yeniden oluşturmayı simülasyonun gerçekten gerektirdiği geometrik temsiller ve davranış kontrolleriyle ilişkilendirmesidir.

Resmî gösterimler arasında esneyen bir telefon kablosu, deforme olan bir plastik poşet, sıkıştırılabilir bir sandalye minderi ve kayan bir çekmece bulunur. Üç Replica ve üç ScanNet++ sahnesinde yazarlar, sırasıyla 6,63 cm ve 21,66 cm Chamfer mesafeleri bildirmektedir; HoloScene için bu değerler 6,79 cm ve 27,15 cm'dir. Ancak HoloScene, giriş görünüşlerinde daha yüksek PSNR ve SSIM değerlerini korur. Bu sonuçlar, düzenlenebilir geometri, fiziksel kullanılabilirlik ve fotometrik doğruluk arasında bir ödünleşim olduğunu gösterir; evrensel bir yeniden oluşturma üstünlüğü ortaya koymaz. Deforme edilebilir etkileşimler, yöntemler arası bir kıyaslama değil, yetenek gösterimleridir. Deneyler.

Nasıl Çalışır

İş akışı üç aşamadan oluşur: geometrik ve üretilmiş referansları kullanarak düzenlenebilir bir sahne oluşturmak; görünümü, eklemleri ve rijit cisim yerleşimini iyileştirmek; ardından deforme edilebilir nesneleri çözücüyle uyumlu biçimlerde yeniden oluşturmak ve davranışlarını test etmek. Yeni bir sahne oluşturucuya özgü görev eğitimi uygulamadan, önceden eğitilmiş algılama ve üretim modellerini, bir ajanı, Blender'ı ve simülatörleri koordine eder. Resmî yöntem özeti.

İlk olarak VGGT-Omega, yerleşimi ve boyutları sabitlemek için kamera parametreleri, derinlik ve nokta haritaları sağlar. CropFormer nesne maskelerini çıkarır; bu maskeler geriye izdüşürülür ve görünüşler arasında 3B örnek izleri hâlinde kümelenir. SAM3D her iz için bir referans ağ oluşturur; REST3D ise küçük ve atlanmış nesnelerin geri kazanılmasına yardımcı olur. Ajan bu ağları şekil referansları olarak kullanır ve Blender ilkelleri ile değiştiricilerden mobilyaları yeniden oluşturur. Böylece her üretilmiş ağı son varlık olarak kabul etmek yerine, kompakt ve düzenlenebilir geometri elde edilir ve hareketli bileşenler ortaya çıkarılır. Yeniden oluşturma.

Sonraki aşamada bir oluştur–değerlendir–iyileştir döngüsü, oluşturulan sahneyi giriş görünüşleriyle karşılaştırır. Kanal başına ikinci dereceden renk hizalama, c′ = ac² + bc + d, hataların teşhis edilmesine yardımcı olur: belirgin bir iyileşme, aydınlatma veya malzeme uyumsuzluğuna işaret eder; az iyileşme ise geometriye veya poza işaret eder. Ajan açık eklemler ekler ve MuJoCo'da nesneleri yerçekimi altında dengeler; ardından dengelenmiş konumlarını sahneye geri yazar. Sahne iyileştirme.

Deforme edilebilir nesneler daha sonra ayrı ajan oturumlarına girer. Bir kablo, çubuk simülasyonu için sürekli bir merkez çizgisi ve yarıçapa; kumaş veya kâğıt, kabuk simülasyonu için bir manifold orta yüzeye ve kalınlığa; bir minder ise tetrahedral ağ oluşturma için kapalı bir katıya dönüştürülür. Yüksek çözünürlüklü katılar daha basit bir simülasyon vekiline bağlanabilir. Yeniden kullanılabilir simülatör becerileri, IPC ailesi tabanlı bir arka uçta konstitutif modelleri ve temas ayarlarını başlatır. Geometri ayrıklaştırmayı belirlerken davranış, seçilen malzeme modelinin yeterli olup olmadığını belirler. Deforme edilebilir yeniden oluşturma.

Son olarak ajan, tanısal robot etkileşimlerini planlar ve hem sayısal geçerliliği hem de görev davranışını kontrol eder. Başarısız denemeler, sabit bir sırayla revizyonları tetikler: hareket, geometri, sayısal ayarlar ve ardından malzeme modeli. Kâğıt katlama testinde elastik bükülme sayısal olarak geçerli kalır ancak geri yaylanır. Aynı kavrayıcı yörüngesi altında plastik menteşeler, bırakıldıktan bir saniye sonra en yüksek katlama açısının %92,5'ini korurken elastik bükülmede bu oran %3,7'dir. Dolayısıyla test, bir simülasyonun çökmeden çalışıp çalışmadığından fazlasını kontrol eder. Kontrollü katlama deneyi.

Uygulamalar, Kullanılabilirlik ve Gelecek Yönelimleri

Gösterilen çıktılar robot-etkileşimi deneyleri ve düzenlenebilir simülasyon ortamlarıyla ilgilidir; makale ayrıca oyun ve sürükleyici içerik oluşturmayı da teşvik eder. Fiziksel parametreleri, gerçek dinamiklerden geri kazanılmış ölçümler değil, varsayılan modeller altındaki etkili ayarlardır. 6 Kasım 2026'da kontrol edildiği üzere, resmî proje sayfasında hâlâ “Code Soon” yazmaktadır; burada bağlantısı verilen hiçbir uygulama kod düzeyinde doğrulama için mevcut değildi. Makale açık bir gelecek çalışma yol haritası sunmaz. Duyurulan somut sonraki adım, belirlenmiş bir takvim olmaksızın kodun yayımlanmasıdır. Bu makale, sistemi yeniden çalıştırmadan, makale ve resmî materyallere dayanmaktadır. Proje ve gösterimler.