CoDimRecon: Агентна реконструкція готових до симуляції 3D-сцен із деформовною геометрією

Оригінальна стаття: ​CoDimRecon: агентна реконструкція готових до симуляції 3D-сцен за допомогою деформованих кривих, поверхонь і об’ємів

Основні моменти та результати

CoDimRecon реконструює редаговане внутрішнє середовище з багаторакурсних RGB-зображень, зокрема кадрів, знятих під час переміщення камери кімнатою. Його результат містить окремі жорсткі об’єкти, шарнірно-з’єднані частини та деформовані об’єкти, підготовлені для фізичної симуляції. Для читачів, які створюють інтерактивні 3D-середовища, головний внесок полягає в поєднанні візуальної реконструкції з геометричними представленнями та поведінковими перевірками, яких насправді потребує симуляція.

Офіційні демонстрації містять еластичний телефонний шнур, деформований поліетиленовий пакет, стисливу подушку стільця та висувну шухляду. На трьох сценах Replica і трьох сценах ScanNet++ автори повідомляють про відстані Chamfer 6,63 см і 21,66 см відповідно, порівняно з 6,79 см і 27,15 см у HoloScene. Однак HoloScene зберігає вищі значення PSNR і SSIM для вхідних ракурсів. Ці результати демонструють компроміс між редагованою геометрією, фізичною придатністю та фотометричною точністю; вони не встановлюють універсальної переваги в реконструкції. Деформовані взаємодії є демонстраціями можливостей, а не порівняльним тестуванням методів. Експерименти.

Як це працює

Робочий процес має три етапи: створення редагованої сцени за допомогою геометричних і згенерованих референсів; уточнення зовнішнього вигляду, шарнірів і розташування твердих тіл; потім реконструкція деформованих об’єктів у формах, сумісних із розв’язувачем, і перевірка їхньої поведінки. Він координує попередньо навчені засоби сприйняття, генерації, агента, Blender і симулятори без спеціального навчання нового генератора сцен для конкретного завдання. Офіційний огляд методу.

Спочатку VGGT-Omega надає параметри камери, глибину та карти точок для фіксації компонування й розмірів. CropFormer виділяє маски об’єктів, які проєктуються назад і кластеризуються між ракурсами в 3D-треки екземплярів. SAM3D генерує референсну сітку для кожного треку; REST3D допомагає відновлювати невеликі пропущені об’єкти. Агент використовує ці сітки як референси форми, відтворюючи меблі з примітивів і модифікаторів Blender. Це створює компактну редаговану геометрію та виявляє рухомі компоненти, замість того щоб просто приймати кожну згенеровану сітку як фінальний об’єкт. Реконструкція.

Далі цикл рендерингу, оцінювання та уточнення порівнює створену сцену з її вхідними ракурсами. Поканальне квадратичне вирівнювання кольору, c′ = ac² + bc + d, допомагає діагностувати помилки: значне покращення вказує на невідповідність освітлення або матеріалу; незначне покращення свідчить про проблеми з геометрією або позою. Агент додає явні шарніри та стабілізує об’єкти під дією сили тяжіння в MuJoCo, записуючи їхні стабілізовані положення назад у сцену. Уточнення сцени.

Потім деформовані об’єкти переходять в окремі сеанси агента. Кабель перетворюється на безперервну центральну лінію з радіусом для симуляції стрижня; тканина або папір — на многовидну середню поверхню з товщиною для симуляції оболонки; подушка — на замкнуте тіло для тетраедральної сітки. Тіла високої роздільної здатності можуть бути прив’язані до простішого симуляційного проксі. Повторно використовувані навички симулятора ініціалізують конститутивні моделі та параметри контакту на бекенді сімейства IPC. Геометрія визначає дискретизацію, а поведінка — чи є обрана модель матеріалу достатньою. Реконструкція деформованих об’єктів.

Нарешті, агент планує діагностичні взаємодії з роботом і перевіряє як числову коректність, так і поведінку під час виконання завдання. Невдалі випробування запускають уточнення у фіксованому порядку: рух, геометрія, числові налаштування, потім модель матеріалу. У тесті зі складання паперу пружне згинання залишається чисельно коректним, але папір повертається назад. За тієї самої траєкторії захвата пластикові шарніри зберігають 92,5% пікового кута згину через одну секунду після відпускання, порівняно з 3,7% для пружного згинання. Отже, тест перевіряє не лише те, чи запускається симуляція без аварійного завершення. Експеримент із контрольованим складанням.

Застосування, доступність і подальші напрямки

Продемонстровані результати мають значення для експериментів із взаємодією роботів і редагованих симуляційних середовищ; стаття також обґрунтовує їхнє застосування для ігор і створення імерсивного контенту. Їхні фізичні параметри є ефективними налаштуваннями за припущених моделей, а не вимірюваннями, відновленими з реальної динаміки. Станом на 6 листопада 2026 року офіційна сторінка проєкту все ще містить напис “Code Soon”; жодна реалізація, на яку там є посилання, не була доступна для перевірки на рівні коду. У статті немає чітко визначеного плану подальшої роботи. Конкретний оголошений наступний крок — випуск коду, без зазначених термінів. Ця стаття ґрунтується на статті та офіційних матеріалах, без повторного запуску системи. Проєкт і демонстрації.