CoDimRecon: Agentische reconstructie van simulatieklare 3D-scènes met vervormbare geometrie

Oorspronkelijk artikel: ​CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

Hoogtepunten en resultaten

CoDimRecon reconstrueert een bewerkbare binnenomgeving uit RGB-afbeeldingen vanuit meerdere gezichtspunten, waaronder frames die zijn vastgelegd terwijl een camera door een ruimte beweegt. De uitvoer bevat afzonderlijke rigide objecten, gearticuleerde onderdelen met scharnieren en vervormbare assets die zijn voorbereid voor fysische simulatie. Voor lezers die interactieve 3D-omgevingen bouwen, is de kernbijdrage het verbinden van visuele reconstructie met de geometrische representaties en gedragscontroles die simulatie daadwerkelijk vereist.

De officiële demonstraties omvatten een uitrekkend telefoonsnoer, een vervormende plastic zak, een samendrukbaar stoelkussen en een schuiflade. Op drie Replica- en drie ScanNet++-scènes rapporteren de auteurs Chamfer-afstanden van respectievelijk 6,63 cm en 21,66 cm, tegenover 6,79 cm en 27,15 cm voor HoloScene. HoloScene behoudt echter een hogere PSNR en SSIM voor de invoerweergaven. Deze resultaten tonen een afweging tussen bewerkbare geometrie, fysische bruikbaarheid en fotometrische getrouwheid; ze stellen geen universele superioriteit op het gebied van reconstructie vast. Vervormbare interacties zijn demonstraties van mogelijkheden, geen benchmark tussen methoden. Experimenten.

Hoe het werkt

De workflow bestaat uit drie fasen: een bewerkbare scène construeren met behulp van geometrische en gegenereerde referenties; uiterlijk, scharnieren en de plaatsing van rigide lichamen verfijnen; en vervolgens vervormbare objecten reconstrueren in vormen die compatibel zijn met solvers en hun gedrag testen. Het systeem orkestreert vooraf getrainde perceptie- en generatiemodellen, een agent, Blender en simulatoren zonder taakgerichte training van een nieuwe scènegenerator. Officieel methodeoverzicht.

Eerst levert VGGT-Omega camer parameters, diepte en puntenkaarten om de indeling en afmetingen te verankeren. CropFormer extraheert objectmaskers, die naar achteren worden geprojecteerd en over weergaven heen worden geclusterd tot 3D-instantiesporen. SAM3D genereert voor elk spoor een referentiemesh; REST3D helpt bij het terugvinden van kleine weggelaten objecten. De agent gebruikt deze meshes als vormreferenties en bouwt meubels opnieuw op uit Blender-primitieven en modifiers. Dit levert compacte, bewerkbare geometrie op en maakt beweegbare componenten zichtbaar, in plaats van eenvoudigweg elke gegenereerde mesh als het uiteindelijke asset te accepteren. Reconstructie.

Vervolgens vergelijkt een renderen–evalueren–verfijnen-lus de gemaakte scène met de invoerweergaven. Kwadratische kleuruitlijning per kanaal, c′ = ac² + bc + d, helpt fouten te diagnosticeren: aanzienlijke verbetering wijst op een verschil in belichting of materiaal; weinig verbetering wijst op geometrie of pose. De agent voegt expliciete scharnieren toe en laat objecten onder zwaartekracht tot rust komen in MuJoCo, waarbij de gestabiliseerde posities terug naar de scène worden geschreven. Scèneverfijning.

Vervormbare objecten gaan vervolgens afzonderlijke agentsessies in. Een kabel wordt een doorlopende middellijn plus straal voor staafsimulatie; stof of papier wordt een manifold-middenoppervlak plus dikte voor schilsimulatie; een kussen wordt een gesloten volume voor tetraëdrische meshing. Solids met hoge resolutie kunnen aan een eenvoudiger simulatieproxy worden gekoppeld. Herbruikbare simulatorvaardigheden initialiseren constitutieve modellen en contactinstellingen op een backend uit de IPC-familie. Geometrie bepaalt de discretisatie, terwijl gedrag bepaalt of het gekozen materiaalmodel toereikend is. Reconstructie van vervormbare objecten.

Ten slotte plant de agent diagnostische robotinteracties en controleert hij zowel de numerieke geldigheid als het taakgedrag. Mislukte proeven leiden tot herzieningen in een vaste volgorde: beweging, geometrie, numerieke instellingen en vervolgens materiaalmodel. In de papiervouwtest blijft elastische buiging numeriek geldig, maar veert het materiaal terug. Onder hetzelfde grijpertraject behouden kunststofscharnieren één seconde na het loslaten 92,5% van de maximale vouwhoek, tegenover 3,7% bij elastische buiging. De test controleert dus meer dan alleen of een simulatie zonder vastlopen wordt uitgevoerd. Gecontroleerd vouwexperiment.

Toepassingen, beschikbaarheid en toekomstige richtingen

De gedemonstreerde uitvoer is relevant voor experimenten met robotinteractie en bewerkbare simulatieomgevingen; het artikel motiveert ook toepassingen voor gaming en het creëren van immersieve content. De fysische parameters ervan zijn effectieve instellingen binnen de aangenomen modellen, geen metingen die uit echte dynamica zijn teruggewonnen. Volgens een controle op 6 november 2026 vermeldt de officiële projectpagina nog steeds “Code Soon”; er was geen implementatie die daar werd gelinkt beschikbaar voor verificatie op codeniveau. Het artikel biedt geen expliciete routekaart voor toekomstig werk. De concreet aangekondigde volgende stap is het vrijgeven van de code, zonder vermelde tijdsplanning. Dit artikel is gebaseerd op het artikel en officiële materialen, zonder het systeem opnieuw uit te voeren. Project en demonstraties.