CoDimRecon: Agentenbasierte Rekonstruktion simulationsbereiter 3D-Szenen mit verformbarer Geometrie

Originalarbeit: ​CoDimRecon: Agentische Rekonstruktion simulationsbereiter 3D-Szenen mit verformbaren Kurven, Oberflächen und Volumen

Höhepunkte und Ergebnisse

CoDimRecon rekonstruiert eine editierbare Innenraumumgebung aus RGB-Bildern aus mehreren Ansichten, einschließlich Aufnahmen, die während der Bewegung einer Kamera durch einen Raum erfasst wurden. Die Ausgabe enthält separate starre Objekte, bewegliche Teile mit Gelenken und für physikalische Simulationen vorbereitete verformbare Objekte. Für Leser, die interaktive 3D-Umgebungen erstellen, besteht der zentrale Beitrag darin, die visuelle Rekonstruktion mit den geometrischen Repräsentationen und Verhaltensprüfungen zu verbinden, die Simulationen tatsächlich erfordern.

Zu den offiziellen Demonstrationen gehören ein sich dehnendes Telefonkabel, eine sich verformende Plastiktüte, ein komprimierbares Stuhlkissen und eine Schublade, die sich verschieben lässt. Für drei Replica- und drei ScanNet++-Szenen berichten die Autoren Chamfer-Distanzen von 6.63 cm bzw. 21.66 cm gegenüber 6.79 cm bzw. 27.15 cm bei HoloScene. HoloScene erzielt jedoch weiterhin höhere PSNR- und SSIM-Werte für die Eingabeansichten. Diese Ergebnisse zeigen einen Zielkonflikt zwischen editierbarer Geometrie, physikalischer Nutzbarkeit und photometrischer Genauigkeit; sie belegen keine universelle Überlegenheit bei der Rekonstruktion. Verformbare Interaktionen sind Fähigkeitsdemonstrationen und kein methodenübergreifender Benchmark. Experimente.

Funktionsweise

Der Workflow umfasst drei Phasen: Aufbau einer editierbaren Szene mithilfe geometrischer und generierter Referenzen; Verfeinerung von Erscheinungsbild, Gelenken und Platzierung starrer Körper; anschließend Rekonstruktion verformbarer Objekte in solverkompatiblen Formen und Prüfung ihres Verhaltens. Er koordiniert vortrainierte Verfahren zur Wahrnehmung und Generierung, einen Agenten, Blender und Simulatoren, ohne einen neuen szenenspezifischen Generator zu trainieren. Offizieller Methodenüberblick.

Zunächst liefert VGGT-Omega Kameraparameter, Tiefeninformationen und Punktkarten, um Anordnung und Abmessungen zu verankern. CropFormer extrahiert Objektmasken, die über mehrere Ansichten zurückprojiziert und zu 3D-Instanz-Tracks gruppiert werden. SAM3D erzeugt für jeden Track ein Referenznetz; REST3D hilft bei der Rekonstruktion kleiner ausgelassener Objekte. Der Agent verwendet diese Netze als Formreferenzen und baut Möbel aus Blender-Primitiven und Modifikatoren neu auf. Dadurch entsteht eine kompakte, editierbare Geometrie, und bewegliche Komponenten werden sichtbar, anstatt jedes generierte Netz einfach als endgültiges Objekt zu übernehmen. Rekonstruktion.

Anschließend vergleicht eine Rendern–Bewerten–Verfeinern-Schleife die erstellte Szene mit ihren Eingabeansichten. Eine quadratische Farbangleichung pro Kanal, c′ = ac² + bc + d, hilft bei der Diagnose von Fehlern: Eine deutliche Verbesserung deutet auf eine Abweichung bei Beleuchtung oder Material hin; eine geringe Verbesserung weist eher auf Geometrie oder Pose hin. Der Agent fügt explizite Gelenke hinzu und lässt Objekte unter Schwerkrafteinfluss in MuJoCo zur Ruhe kommen, wobei ihre stabilisierten Positionen zurück in die Szene geschrieben werden. Szenenverfeinerung.

Verformbare Objekte werden anschließend in separate Agentensitzungen überführt. Ein Kabel wird für die Stabsimulation zu einer durchgehenden Mittellinie plus Radius; Stoff oder Papier wird für die Schalensimulation zu einer Mannigfaltigkeitsmittelfläche plus Dicke; ein Kissen wird für die Tetraedernetz-Erzeugung zu einem geschlossenen Volumen. Hochauflösende Volumen können an einen einfacheren Simulations-Proxy gebunden werden. Wiederverwendbare Simulator-Fähigkeiten initialisieren konstitutive Modelle und Kontakteinstellungen auf einem Backend der IPC-Familie. Die Geometrie bestimmt die Diskretisierung, während das Verhalten bestimmt, ob das gewählte Materialmodell angemessen ist. Rekonstruktion verformbarer Objekte.

Abschließend plant der Agent diagnostische Roboterinteraktionen und überprüft sowohl die numerische Gültigkeit als auch das Aufgabenverhalten. Fehlgeschlagene Versuche lösen Überarbeitungen in einer festen Reihenfolge aus: Bewegung, Geometrie, numerische Einstellungen und anschließend Materialmodell. Im Papielfalt-Test bleibt die elastische Biegung numerisch gültig, federt jedoch zurück. Bei derselben Greifertrajektorie behalten plastische Gelenke eine Sekunde nach dem Loslassen 92.5 % des maximalen Faltwinkels bei, gegenüber 3.7 % bei elastischer Biegung. Der Test prüft daher mehr als nur, ob eine Simulation ohne Absturz ausgeführt wird. Kontrolliertes Faltexperiment.

Anwendungen, Verfügbarkeit und zukünftige Richtungen

Die demonstrierten Ausgaben sind für Roboterinteraktionsexperimente und editierbare Simulationsumgebungen relevant; die Arbeit liefert außerdem Anregungen für Spiele und die Erstellung immersiver Inhalte. Ihre physikalischen Parameter sind effektive Einstellungen unter angenommenen Modellen und keine aus realer Dynamik rekonstruierten Messwerte. Bei einer Prüfung am 6. November 2026 steht auf der offiziellen Projektseite weiterhin „Code Soon“; eine dort verlinkte Implementierung war zur Überprüfung auf Codeebene nicht verfügbar. Die Arbeit enthält keine ausdrückliche Roadmap für zukünftige Arbeiten. Der konkret angekündigte nächste Schritt ist die Veröffentlichung des Codes, ohne genannte Zeitplanung. Dieser Artikel basiert auf der Arbeit und den offiziellen Materialien, ohne das System erneut auszuführen. Projekt und Demonstrationen.