CoDimRecon: Ricostruzione agentica di scene 3D pronte per la simulazione con geometria deformabile

Articolo originale: ​CoDimRecon: ricostruzione agentica di scene 3D pronte per la simulazione con curve, superfici e volumi deformabili

Punti salienti e risultati

CoDimRecon ricostruisce un ambiente interno modificabile a partire da immagini RGB multi-vista, inclusi fotogrammi catturati mentre una telecamera si muove attraverso una stanza. Il suo output contiene oggetti rigidi separati, parti articolate con giunti e asset deformabili preparati per la simulazione fisica. Per chi costruisce ambienti 3D interattivi, il contributo centrale consiste nel collegare la ricostruzione visiva alle rappresentazioni geometriche e ai controlli comportamentali effettivamente richiesti dalla simulazione.

Le dimostrazioni ufficiali includono un cavo telefonico che si allunga, un sacchetto di plastica deformabile, un cuscino di sedia comprimibile e un cassetto scorrevole. Su tre scene Replica e tre scene ScanNet++, gli autori riportano distanze di Chamfer rispettivamente di 6,63 cm e 21,66 cm, contro i 6,79 cm e 27,15 cm di HoloScene. Tuttavia, HoloScene mantiene valori PSNR e SSIM più elevati sulle viste di input. Questi risultati mostrano un compromesso tra geometria modificabile, usabilità fisica e fedeltà fotometrica; non stabiliscono una superiorità universale nella ricostruzione. Le interazioni deformabili sono dimostrazioni delle capacità, non un benchmark tra metodi. Esperimenti.

Come funziona

Il flusso di lavoro ha tre fasi: costruire una scena modificabile usando riferimenti geometrici e generati; perfezionare aspetto, giunti e posizionamento dei corpi rigidi; quindi ricostruire i deformabili in forme compatibili con il solver e testarne il comportamento. Coordina percezione preaddestrata, generazione, un agente, Blender e simulatori senza addestrare su attività specifiche un nuovo generatore di scene. Panoramica ufficiale del metodo.

Innanzitutto, VGGT-Omega fornisce parametri della telecamera, profondità e mappe di punti per ancorare disposizione e dimensioni. CropFormer estrae le maschere degli oggetti, che vengono retroproiettate e raggruppate tra le viste in tracce di istanze 3D. SAM3D genera una mesh di riferimento per ogni traccia; REST3D aiuta a recuperare gli oggetti piccoli omessi. L'agente utilizza queste mesh come riferimenti di forma, ricostruendo gli arredi a partire da primitive e modificatori di Blender. Ciò produce una geometria compatta e modificabile ed espone i componenti mobili, invece di accettare semplicemente ogni mesh generata come asset finale. Ricostruzione.

Successivamente, un ciclo di rendering–valutazione–perfezionamento confronta la scena realizzata con le viste di input. L'allineamento cromatico quadratico per canale, c′ = ac² + bc + d, aiuta a diagnosticare gli errori: un miglioramento sostanziale suggerisce una discrepanza nell'illuminazione o nel materiale; un miglioramento ridotto indica invece la geometria o la posa. L'agente aggiunge giunti espliciti e assesta gli oggetti sotto l'effetto della gravità in MuJoCo, riscrivendo le loro posizioni stabilizzate nella scena. Perfezionamento della scena.

I deformabili entrano quindi in sessioni separate dell'agente. Un cavo diventa una linea centrale continua più un raggio per la simulazione con aste; un tessuto o un foglio diventano una midsuperficie dotata di spessore per la simulazione a guscio; un cuscino diventa un solido chiuso per la generazione di mesh tetraedriche. I solidi ad alta risoluzione possono essere associati a un proxy di simulazione più semplice. Competenze riutilizzabili del simulatore inizializzano modelli costitutivi e impostazioni di contatto su un backend della famiglia IPC. La geometria determina la discretizzazione, mentre il comportamento determina se il modello del materiale scelto è adeguato. Ricostruzione dei deformabili.

Infine, l'agente pianifica interazioni diagnostiche con il robot e verifica sia la validità numerica sia il comportamento nell'attività. Le prove fallite attivano revisioni in un ordine fisso: movimento, geometria, impostazioni numeriche, quindi modello del materiale. Nel test di piegatura della carta, la flessione elastica rimane numericamente valida ma torna indietro. Con la stessa traiettoria della pinza, le cerniere plastiche mantengono il 92,5% dell'angolo di piega di picco un secondo dopo il rilascio, contro il 3,7% con la flessione elastica. Il test verifica quindi più del semplice fatto che una simulazione venga eseguita senza arrestarsi in modo anomalo. Esperimento di piegatura controllata.

Applicazioni, disponibilità e direzioni future

Gli output dimostrati sono rilevanti per gli esperimenti di interazione con robot e gli ambienti di simulazione modificabili; l'articolo motiva inoltre la creazione di contenuti videoludici e immersivi. I loro parametri fisici sono impostazioni efficaci basate su modelli presunti, non misurazioni recuperate da dinamiche reali. Alla verifica del 6 novembre 2026, la pagina ufficiale del progetto riportava ancora “Code Soon”; non era disponibile alcuna implementazione collegata per una verifica a livello di codice. L'articolo non fornisce una roadmap esplicita per il lavoro futuro. Il prossimo passo annunciato concretamente è il rilascio del codice, senza alcuna tempistica dichiarata. Questo articolo si basa sul documento e sui materiali ufficiali, senza rieseguire il sistema. Progetto e dimostrazioni.