CoDimRecon: Агентная реконструкция 3D-сцен, готовых для симуляции, с деформируемой геометрией

Оригинальная статья: ​CoDimRecon: агентная реконструкция готовых к симуляции 3D-сцен с деформируемыми кривыми, поверхностями и объёмами

Основные моменты и результаты

CoDimRecon реконструирует редактируемую внутреннюю среду по многовидовым RGB-изображениям, включая кадры, снятые при перемещении камеры по комнате. Его результат содержит отдельные жёсткие объекты, сочленённые части с шарнирами и деформируемые элементы, подготовленные для физической симуляции. Для читателей, создающих интерактивные 3D-среды, основной вклад заключается в соединении визуальной реконструкции с геометрическими представлениями и поведенческими проверками, которые действительно требуются симуляции.

Официальные демонстрации включают растягивающийся телефонный шнур, деформируемый пластиковый пакет, сжимаемую подушку стула и выдвижной ящик. На трёх сценах Replica и трёх сценах ScanNet++ авторы сообщают о расстояниях Чамфера 6,63 см и 21,66 см соответственно против 6,79 см и 27,15 см у HoloScene. Однако HoloScene сохраняет более высокие значения PSNR и SSIM для входных видов. Эти результаты показывают компромисс между редактируемой геометрией, физической применимостью и фотометрической точностью; они не устанавливают универсального превосходства в реконструкции. Взаимодействия с деформируемыми объектами являются демонстрациями возможностей, а не бенчмарком между методами. Эксперименты.

Принцип работы

Рабочий процесс состоит из трёх этапов: создание редактируемой сцены с использованием геометрических и сгенерированных эталонов; уточнение внешнего вида, шарниров и размещения жёстких тел; затем реконструкция деформируемых объектов в формах, совместимых с решателем, и проверка их поведения. Он координирует предварительно обученные системы восприятия, генерации, агента, Blender и симуляторы без специального обучения нового генератора сцен под конкретную задачу. Официальный обзор метода.

Сначала VGGT-Omega предоставляет параметры камеры, глубину и карты точек для фиксации планировки и размеров. CropFormer извлекает маски объектов, которые проецируются обратно и кластеризуются между видами в 3D-треки экземпляров. SAM3D генерирует эталонную сетку для каждого трека; REST3D помогает восстановить небольшие пропущенные объекты. Агент использует эти сетки как эталоны формы, перестраивая мебель из примитивов и модификаторов Blender. Это создаёт компактную редактируемую геометрию и выявляет подвижные компоненты вместо того, чтобы просто принимать каждую сгенерированную сетку как финальный объект. Реконструкция.

Затем цикл рендеринга, оценки и уточнения сравнивает созданную сцену с её входными видами. Поканальное квадратичное выравнивание цвета, c′ = ac² + bc + d, помогает диагностировать ошибки: существенное улучшение указывает на несоответствие освещения или материала; незначительное улучшение указывает на геометрию или позу. Агент добавляет явные шарниры и стабилизирует объекты под действием силы тяжести в MuJoCo, записывая их стабилизированные положения обратно в сцену. Уточнение сцены.

Затем деформируемые объекты переходят в отдельные сеансы агента. Кабель представляется как непрерывная центральная линия с радиусом для моделирования стержня; ткань или бумага — как многообразная срединная поверхность с толщиной для моделирования оболочки; подушка — как замкнутое твёрдое тело для тетраэдральной генерации сетки. Твёрдые тела высокого разрешения могут быть связаны с более простым симуляционным прокси-объектом. Повторно используемые навыки симулятора инициализируют конститутивные модели и настройки контактов на бэкенде семейства IPC. Геометрия определяет дискретизацию, а поведение — адекватность выбранной материальной модели. Реконструкция деформируемых объектов.

Наконец, агент планирует диагностические взаимодействия с роботом и проверяет как численную корректность, так и поведение при выполнении задачи. Неудачные испытания запускают исправления в фиксированном порядке: движение, геометрия, численные настройки, затем материальная модель. В тесте со складыванием бумаги упругое сгибание остаётся численно корректным, но материал возвращается в исходное состояние. При той же траектории захвата пластические шарниры сохраняют 92,5% пикового угла сгиба через одну секунду после отпускания против 3,7% при упругом сгибании. Таким образом, тест проверяет не только то, запускается ли симуляция без сбоев. Эксперимент с контролируемым складыванием.

Применения, доступность и будущие направления

Продемонстрированные результаты актуальны для экспериментов по взаимодействию роботов и редактируемых симуляционных сред; статья также обосновывает их применение в игровой индустрии и создании иммерсивного контента. Их физические параметры являются эффективными настройками в рамках предполагаемых моделей, а не измерениями, восстановленными по реальной динамике. По состоянию на 6 ноября 2026 года официальная страница проекта по-прежнему сообщает «Code Soon»; доступной для проверки на уровне кода реализации, на которую она ссылалась бы, не было. В статье не представлен явный план дальнейшей работы. Конкретный объявленный следующий шаг — выпуск кода, без указанных сроков. Эта статья основана на работе и официальных материалах, без повторного запуска системы. Проект и демонстрации.