CoDimRecon: Agentbaserad rekonstruktion av simuleringsklara 3D-scener med deformerbar geometri

Originalartikel: ​CoDimRecon: Agentisk rekonstruktion av simuleringsklara 3D-scener med deformerbara kurvor, ytor och volymer

Höjdpunkter och resultat

CoDimRecon rekonstruerar en redigerbar inomhusmiljö från RGB-bilder tagna ur flera vyer, inklusive bildrutor som fångats medan en kamera rör sig genom ett rum. Resultatet innehåller separata stela objekt, artikulerade delar med leder och deformerbara tillgångar förberedda för fysisk simulering. För läsare som bygger interaktiva 3D-miljöer är det centrala bidraget att koppla visuell rekonstruktion till de geometriska representationer och beteendekontroller som simulering faktiskt kräver.

De officiella demonstrationerna omfattar en utdragbar telefonsladd, en deformerande plastpåse, en komprimerbar stolsdyna och en skjutbar låda. På tre Replica- och tre ScanNet++-scener rapporterar författarna Chamfer-avstånd på 6,63 cm respektive 21,66 cm, jämfört med HoloScenes 6,79 cm respektive 27,15 cm. HoloScene behåller dock högre PSNR och SSIM för indata-vyerna. Resultaten visar en avvägning mellan redigerbar geometri, fysisk användbarhet och fotometrisk trohet; de fastställer inte en universell överlägsenhet inom rekonstruktion. De deformerbara interaktionerna är demonstrationer av funktionalitet, inte ett jämförande riktmärke mellan metoder. Experiment.

Så fungerar det

Arbetsflödet består av tre steg: att konstruera en redigerbar scen med hjälp av geometriska och genererade referenser; att förfina utseende, leder och placeringen av stela kroppar; och därefter rekonstruera deformerbara objekt i solver-kompatibla former samt testa deras beteende. Det samordnar förtränad perception, generering, en agent, Blender och simulatorer utan uppgiftsspecifik träning av en ny scen-generator. Officiell metodöversikt.

Först tillhandahåller VGGT-Omega kamer parametrar, djup och punktkartor för att förankra layout och dimensioner. CropFormer extraherar objektmasker, som återprojiceras och klustras över vyer till 3D-instansspår. SAM3D genererar ett referensnät för varje spår; REST3D hjälper till att återskapa små utelämnade objekt. Agenten använder dessa nät som formreferenser och bygger om möbler från Blender-primitiver och modifierare. Detta ger kompakt, redigerbar geometri och synliggör rörliga komponenter, i stället för att helt enkelt acceptera varje genererat nät som den slutliga tillgången. Rekonstruktion.

Därefter jämför en renderings–utvärderings–förfiningsloop den skapade scenen med dess indata-vyer. Kvadratisk färganpassning per kanal, c′ = ac² + bc + d, hjälper till att diagnostisera fel: en betydande förbättring tyder på en avvikelse i belysning eller material; liten förbättring pekar mot geometri eller pose. Agenten lägger till explicita leder och låter objekt stabiliseras under gravitation i MuJoCo, varefter deras stabiliserade positioner skrivs tillbaka till scenen. Scenförfining.

Deformerbara objekt går sedan in i separata agentsessioner. En kabel blir en kontinuerlig mittlinje plus radie för stavsimulering; tyg eller papper blir en mångfaldig mitt-yta plus tjocklek för skalsimulering; en dyna blir en sluten solid för tetraedrisk uppdelning i nät. Högupplösta solider kan bindas till en enklare simuleringsproxy. Återanvändbara simulatorkunskaper initierar konstitutiva modeller och kontaktinställningar på en IPC-familjebaserad backend. Geometrin avgör diskretiseringen, medan beteendet avgör om den valda materialmodellen är tillräcklig. Deformerbar rekonstruktion.

Slutligen planerar agenten diagnostiska robotinteraktioner och kontrollerar både numerisk giltighet och uppgiftsbeteende. Misslyckade försök utlöser revideringar i en fast ordning: rörelse, geometri, numeriska inställningar och därefter materialmodell. I testet med pappersvikning förblir elastisk böjning numeriskt giltig men fjädrar tillbaka. Med samma gripartrajektoria behåller plastiska gångjärn 92,5 % av den maximala vikningsvinkeln en sekund efter att greppet släppts, jämfört med 3,7 % vid elastisk böjning. Testet kontrollerar därför mer än om en simulering körs utan att krascha. Kontrollerat vikningsexperiment.

Tillämpningar, tillgänglighet och framtida riktningar

De demonstrerade resultaten är relevanta för experiment med robotinteraktion och redigerbara simuleringsmiljöer; artikeln motiverar även användning inom spel och skapande av immersivt innehåll. De fysiska parametrarna är effektiva inställningar under antagna modeller, inte mätningar som återvunnits från verklig dynamik. Vid kontroll den 6 november 2026 anger den officiella projektsidan fortfarande ”Code Soon”; ingen implementation som länkades där var tillgänglig för verifiering på kodnivå. Artikeln innehåller ingen uttrycklig färdplan för framtida arbete. Det konkreta annonserade nästa steget är en kodrelease, utan angiven tidsplan. Den här artikeln bygger på artikeln och det officiella materialet, utan att systemet kördes på nytt. Projekt och demonstrationer.