CoDimRecon: Reconstrução Agêntica de Cenas 3D Prontas para Simulação com Geometria Deformável

Artigo original: ​CoDimRecon: Reconstrução agentiva de cenas 3D prontas para simulação com curvas, superfícies e volumes deformáveis

Destaques e resultados

O CoDimRecon reconstrói um ambiente interno editável a partir de imagens RGB de múltiplas vistas, incluindo quadros capturados enquanto uma câmera se move por uma sala. Sua saída contém objetos rígidos separados, partes articuladas com juntas e ativos deformáveis preparados para simulação física. Para leitores que estão construindo ambientes 3D interativos, a contribuição central é conectar a reconstrução visual às representações geométricas e às verificações comportamentais que a simulação realmente exige.

As demonstrações oficiais incluem um fio de telefone que se estica, uma sacola plástica que se deforma, uma almofada de cadeira compressível e uma gaveta deslizante. Em três cenas do Replica e três do ScanNet++, os autores relatam distâncias de Chamfer de 6,63 cm e 21,66 cm, respectivamente, contra 6,79 cm e 27,15 cm do HoloScene. No entanto, o HoloScene mantém PSNR e SSIM mais altos nas vistas de entrada. Esses resultados mostram um compromisso entre geometria editável, usabilidade física e fidelidade fotométrica; eles não estabelecem uma superioridade universal na reconstrução. As interações deformáveis são demonstrações de capacidade, não um benchmark entre métodos. Experimentos.

Como funciona

O fluxo de trabalho tem três etapas: construir uma cena editável usando referências geométricas e geradas; refinar a aparência, as juntas e o posicionamento dos corpos rígidos; depois reconstruir os deformáveis em formas compatíveis com o solver e testar seu comportamento. Ele coordena percepção pré-treinada, geração, um agente, Blender e simuladores sem treinar especificamente um novo gerador de cenas. Visão geral oficial do método.

Primeiro, o VGGT-Omega fornece parâmetros de câmera, profundidade e mapas de pontos para ancorar o layout e as dimensões. O CropFormer extrai máscaras de objetos, que são reprojetadas e agrupadas entre as vistas em trajetórias de instâncias 3D. O SAM3D gera uma malha de referência para cada trajetória; o REST3D ajuda a recuperar pequenos objetos omitidos. O agente usa essas malhas como referências de forma, reconstruindo móveis a partir de primitivas e modificadores do Blender. Isso produz uma geometria compacta e editável e expõe componentes móveis, em vez de simplesmente aceitar cada malha gerada como o ativo final. Reconstrução.

Em seguida, um ciclo de renderização–avaliação–refinamento compara a cena criada com suas vistas de entrada. O alinhamento de cor quadrático por canal, c′ = ac² + bc + d, ajuda a diagnosticar erros: uma melhora substancial sugere incompatibilidade de iluminação ou material; pouca melhora aponta para geometria ou pose. O agente adiciona juntas explícitas e acomoda os objetos sob a gravidade no MuJoCo, escrevendo suas posições estabilizadas de volta na cena. Refinamento da cena.

Os deformáveis então entram em sessões separadas do agente. Um cabo se torna uma linha central contínua mais um raio para a simulação de haste; tecido ou papel se torna uma superfície média de variedade mais uma espessura para a simulação de casca; uma almofada se torna um sólido fechado para a geração de malha tetraédrica. Sólidos de alta resolução podem ser vinculados a um proxy de simulação mais simples. Habilidades reutilizáveis do simulador inicializam modelos constitutivos e configurações de contato em um backend da família IPC. A geometria determina a discretização, enquanto o comportamento determina se o modelo de material escolhido é adequado. Reconstrução de deformáveis.

Por fim, o agente planeja interações robóticas de diagnóstico e verifica tanto a validade numérica quanto o comportamento da tarefa. Testes malsucedidos acionam revisões em uma ordem fixa: movimento, geometria, configurações numéricas e, depois, modelo de material. No teste de dobragem de papel, a flexão elástica permanece numericamente válida, mas retorna à forma original. Sob a mesma trajetória do efetuador, dobradiças plásticas retêm 92,5% do ângulo máximo de dobra um segundo após a liberação, contra 3,7% com flexão elástica. Portanto, o teste verifica mais do que se uma simulação é executada sem travar. Experimento de dobragem controlada.

Aplicações, disponibilidade e direções futuras

As saídas demonstradas são relevantes para experimentos de interação robótica e ambientes de simulação editáveis; o artigo também motiva a criação de conteúdo para jogos e experiências imersivas. Seus parâmetros físicos são configurações efetivas sob modelos assumidos, não medições recuperadas de dinâmicas reais. Verificado em 6 de novembro de 2026, o site oficial do projeto ainda dizia “Code Soon”; nenhuma implementação vinculada nele estava disponível para verificação em nível de código. O artigo não fornece um roteiro explícito de trabalhos futuros. O próximo passo concreto anunciado é o lançamento do código, sem cronograma informado. Este artigo é baseado no artigo científico e nos materiais oficiais, sem reexecutar o sistema. Projeto e demonstrações.