CoDimRecon: Agentní rekonstrukce 3D scén připravených pro simulaci s deformovatelnou geometrií

Původní článek: ​CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

Hlavní body a výsledky

CoDimRecon rekonstruuje editovatelné vnitřní prostředí z RGB obrázků z více pohledů, včetně snímků pořízených při pohybu kamery místností. Jeho výstup obsahuje samostatné tuhé objekty, artikulované části s klouby a deformovatelné objekty připravené pro fyzikální simulaci. Pro čtenáře vytvářející interaktivní 3D prostředí spočívá hlavní přínos v propojení vizuální rekonstrukce s geometrickými reprezentacemi a kontrolami chování, které simulace skutečně vyžaduje.

Oficiální demonstrace zahrnují natahovací telefonní šňůru, deformující se plastový sáček, stlačitelný polštář židle a vysouvací zásuvku. Na třech scénách Replica a třech scénách ScanNet++ autoři uvádějí Chamferovy vzdálenosti 6,63 cm a 21,66 cm oproti 6,79 cm a 27,15 cm u HoloScene. HoloScene však zachovává vyšší PSNR a SSIM vstupních pohledů. Tyto výsledky ukazují kompromis mezi editovatelnou geometrií, fyzikální použitelností a fotometrickou věrností; nepotvrzují univerzální převahu v rekonstrukci. Deformovatelné interakce jsou demonstracemi schopností, nikoli benchmarkem napříč metodami. Experimenty.

Jak to funguje

Pracovní postup má tři fáze: vytvoření editovatelné scény pomocí geometrických a generovaných referencí; vylepšení vzhledu, kloubů a umístění tuhých těles; následná rekonstrukce deformovatelných objektů do forem kompatibilních se solverem a testování jejich chování. Orchestruje předtrénované vnímání, generování, agenta, Blender a simulátory bez trénování nového generátoru scén specifického pro danou úlohu. Oficiální přehled metody.

Nejprve VGGT-Omega poskytuje parametry kamery, hloubku a bodové mapy pro ukotvení rozvržení a rozměrů. CropFormer extrahuje masky objektů, které jsou zpětně promítnuty a napříč pohledy shlukovány do 3D stop instancí. SAM3D generuje referenční síť pro každou stopu; REST3D pomáhá obnovit malé vynechané objekty. Agent tyto sítě používá jako tvarové reference a znovu sestavuje nábytek z primitiv a modifikátorů Blenderu. Výsledkem je kompaktní, editovatelná geometrie a odhalení pohyblivých komponent namísto prostého přijetí každé vygenerované sítě jako finálního objektu. Rekonstrukce.

Dále smyčka vykreslení–vyhodnocení–vylepšení porovnává vytvořenou scénu s jejími vstupními pohledy. Kvadratické vyrovnání barev po kanálech, c′ = ac² + bc + d, pomáhá diagnostikovat chyby: výrazné zlepšení naznačuje nesoulad osvětlení nebo materiálu; malé zlepšení ukazuje spíše na geometrii nebo pózu. Agent přidává explicitní klouby a v MuJoCo nechává objekty ustálit působením gravitace, přičemž jejich stabilizované pozice zapisuje zpět do scény. Vylepšení scény.

Deformovatelné objekty poté vstupují do samostatných relací agenta. Z kabelu se stává spojitá střednice spolu s poloměrem pro simulaci prutu; z látky nebo papíru se stává varietní střední plocha s tloušťkou pro simulaci skořepiny; z polštáře se stává uzavřené těleso pro tetraedrické síťování. Objemná tělesa s vysokým rozlišením lze svázat s jednodušší simulační proxy. Znovu použitelné dovednosti simulátoru inicializují konstitutivní modely a nastavení kontaktů na backendu z rodiny IPC. Geometrie určuje diskretizaci, zatímco chování určuje, zda je zvolený materiálový model adekvátní. Rekonstrukce deformovatelných objektů.

Nakonec agent plánuje diagnostické interakce robotu a kontroluje numerickou platnost i chování úlohy. Neúspěšné pokusy spouštějí revize v pevném pořadí: pohyb, geometrie, numerická nastavení a poté materiálový model. V testu skládání papíru zůstává pružné ohýbání numericky platné, ale materiál se vrací do původního tvaru. Při stejné trajektorii chapadla si plastické klouby jednu sekundu po uvolnění zachovají 92,5 % maximálního úhlu přehybu oproti 3,7 % u pružného ohýbání. Test proto ověřuje více než jen to, zda simulace proběhne bez pádu. Experiment s řízeným skládáním.

Aplikace, dostupnost a budoucí směry

Předvedené výstupy jsou relevantní pro experimenty s interakcí robotů a editovatelná simulační prostředí; článek také motivuje tvorbu herního a imerzivního obsahu. Jejich fyzikální parametry jsou efektivní nastavení v rámci předpokládaných modelů, nikoli měření získaná ze skutečné dynamiky. K 6. listopadu 2026 oficiální projektová stránka stále uvádí „Code Soon“; žádná implementace, na kterou odkazuje, nebyla dostupná pro ověření na úrovni kódu. Článek neposkytuje explicitní plán budoucí práce. Konkrétním oznámeným dalším krokem je vydání kódu, bez uvedení harmonogramu. Tento článek vychází z článku a oficiálních materiálů, aniž by systém znovu spouštěl. Projekt a demonstrace.