CoDimRecon : Reconstruction agentique de scènes 3D prêtes pour la simulation avec géométrie déformable

Article original : ​CoDimRecon : reconstruction agentique de scènes 3D prêtes pour la simulation avec des courbes, surfaces et volumes déformables

Points clés et résultats

CoDimRecon reconstruit un environnement intérieur éditable à partir d’images RVB multi-vues, y compris des images capturées pendant le déplacement d’une caméra dans une pièce. Sa sortie contient des objets rigides distincts, des parties articulées avec des articulations et des éléments déformables préparés pour la simulation physique. Pour les lecteurs qui construisent des environnements 3D interactifs, la contribution centrale consiste à relier la reconstruction visuelle aux représentations géométriques et aux vérifications comportementales réellement requises par la simulation.

Les démonstrations officielles incluent un cordon de téléphone qui s’étire, un sac en plastique qui se déforme, un coussin de chaise compressible et un tiroir coulissant. Sur trois scènes Replica et trois scènes ScanNet++, les auteurs rapportent des distances de Chamfer de 6,63 cm et 21,66 cm, respectivement, contre 6,79 cm et 27,15 cm pour HoloScene. Toutefois, HoloScene conserve un PSNR et un SSIM plus élevés pour les vues d’entrée. Ces résultats montrent un compromis entre géométrie éditable, utilisabilité physique et fidélité photométrique ; ils n’établissent pas une supériorité universelle en matière de reconstruction. Les interactions déformables sont des démonstrations de capacités, et non un benchmark interméthodes. Expériences.

Fonctionnement

Le flux de travail comporte trois étapes : construire une scène éditable à l’aide de références géométriques et générées ; affiner l’apparence, les articulations et le placement des corps rigides ; puis reconstruire les éléments déformables sous des formes compatibles avec le solveur et tester leur comportement. Il orchestre la perception préentraînée, la génération, un agent, Blender et des simulateurs, sans entraîner spécifiquement un nouveau générateur de scènes. Présentation officielle de la méthode.

Tout d’abord, VGGT-Omega fournit les paramètres de caméra, la profondeur et les cartes de points afin d’ancrer la disposition et les dimensions. CropFormer extrait les masques des objets, qui sont reprojetés vers l’arrière et regroupés entre les vues en pistes d’instances 3D. SAM3D génère un maillage de référence pour chaque piste ; REST3D aide à récupérer les petits objets omis. L’agent utilise ces maillages comme références de forme et reconstruit le mobilier à partir des primitives et modificateurs de Blender. Cela produit une géométrie compacte et éditable et expose les composants mobiles, au lieu d’accepter simplement chaque maillage généré comme élément final. Reconstruction.

Ensuite, une boucle rendu–évaluation–affinement compare la scène créée à ses vues d’entrée. Un alignement colorimétrique quadratique par canal, c′ = ac² + bc + d, aide à diagnostiquer les erreurs : une amélioration importante suggère un décalage de l’éclairage ou du matériau ; une faible amélioration indique plutôt un problème de géométrie ou de pose. L’agent ajoute des articulations explicites et stabilise les objets sous l’effet de la gravité dans MuJoCo, en réinjectant leurs positions stabilisées dans la scène. Affinement de la scène.

Les éléments déformables intègrent ensuite des sessions d’agent distinctes. Un câble devient une ligne centrale continue avec un rayon pour la simulation de tige ; un tissu ou du papier devient une surface médiane à une variété avec une épaisseur pour la simulation de coque ; un coussin devient un solide fermé destiné au maillage tétraédrique. Les solides haute résolution peuvent être liés à un proxy de simulation plus simple. Des compétences de simulation réutilisables initialisent les modèles constitutifs et les paramètres de contact sur un backend de la famille IPC. La géométrie détermine la discrétisation, tandis que le comportement détermine si le modèle de matériau choisi est adéquat. Reconstruction des éléments déformables.

Enfin, l’agent planifie des interactions robotiques diagnostiques et vérifie à la fois la validité numérique et le comportement lors de la tâche. Les essais échoués déclenchent des révisions dans un ordre fixe : mouvement, géométrie, paramètres numériques, puis modèle de matériau. Lors du test de pliage du papier, la flexion élastique reste valide numériquement, mais le papier reprend sa forme. Avec la même trajectoire de préhension, les charnières plastiques conservent 92,5 % de l’angle de pliage maximal une seconde après le relâchement, contre 3,7 % avec une flexion élastique. Le test vérifie donc davantage que la simple capacité d’une simulation à s’exécuter sans plantage. Expérience de pliage contrôlé.

Applications, disponibilité et orientations futures

Les sorties démontrées sont pertinentes pour les expériences d’interaction robotique et les environnements de simulation éditables ; l’article motive également la création de jeux et de contenus immersifs. Leurs paramètres physiques sont des réglages effectifs fondés sur les modèles supposés, et non des mesures récupérées à partir d’une dynamique réelle. Au 6 novembre 2026, la page officielle du projet indiquait toujours « Code Soon » ; aucune implémentation qui y était liée n’était disponible pour une vérification au niveau du code. L’article ne fournit aucune feuille de route explicite pour les travaux futurs. La prochaine étape concrètement annoncée est la publication du code, sans calendrier indiqué. Cet article s’appuie sur l’article scientifique et les documents officiels, sans réexécuter le système. Projet et démonstrations.