CoDimRecon: Reconstrução agentiva de cenas 3D prontas para simulação com geometria deformável

Artigo original: ​CoDimRecon: Reconstrução Agêntica de Cenas 3D Prontas para Simulação com Curvas, Superfícies e Volumes Deformáveis

Destaques e resultados

O CoDimRecon reconstrói um ambiente interior editável a partir de imagens RGB multi-vista, incluindo fotogramas captados enquanto uma câmara se desloca por uma divisão. O resultado contém objetos rígidos separados, partes articuladas com juntas e recursos deformáveis preparados para simulação física. Para quem cria ambientes 3D interativos, o contributo central é ligar a reconstrução visual às representações geométricas e às verificações comportamentais de que a simulação realmente necessita.

As demonstrações oficiais incluem um fio de telefone extensível, um saco de plástico deformável, uma almofada de cadeira compressível e uma gaveta deslizante. Em três cenas Replica e três cenas ScanNet++, os autores reportam distâncias de Chamfer de 6,63 cm e 21,66 cm, respetivamente, face a 6,79 cm e 27,15 cm do HoloScene. No entanto, o HoloScene mantém PSNR e SSIM mais elevados nas vistas de entrada. Estes resultados mostram um compromisso entre geometria editável, utilidade física e fidelidade fotométrica; não estabelecem uma superioridade universal na reconstrução. As interações deformáveis são demonstrações de capacidades, não um benchmark entre métodos. Experiências.

Como funciona

O fluxo de trabalho tem três fases: construir uma cena editável usando referências geométricas e geradas; aperfeiçoar a aparência, as juntas e o posicionamento dos corpos rígidos; e, em seguida, reconstruir os elementos deformáveis em formas compatíveis com o solver e testar o seu comportamento. Orquestra perceção pré-treinada, geração, um agente, Blender e simuladores sem treinar especificamente um novo gerador de cenas. Visão geral oficial do método.

Primeiro, o VGGT-Omega fornece parâmetros da câmara, profundidade e mapas de pontos para ancorar a disposição e as dimensões. O CropFormer extrai máscaras de objetos, que são reprojetadas e agrupadas entre vistas em trajetórias de instâncias 3D. O SAM3D gera uma malha de referência para cada trajetória; o REST3D ajuda a recuperar objetos pequenos omitidos. O agente utiliza estas malhas como referências de forma, reconstruindo mobiliário a partir de primitivas e modificadores do Blender. Isto produz uma geometria compacta e editável e expõe componentes móveis, em vez de simplesmente aceitar cada malha gerada como o recurso final. Reconstrução.

Em seguida, um ciclo de renderização–avaliação–aperfeiçoamento compara a cena criada com as suas vistas de entrada. O alinhamento quadrático da cor por canal, c′ = ac² + bc + d, ajuda a diagnosticar erros: uma melhoria substancial sugere uma incompatibilidade de iluminação ou de materiais; uma melhoria reduzida aponta para a geometria ou a pose. O agente adiciona juntas explícitas e assenta os objetos sob gravidade no MuJoCo, escrevendo as suas posições estabilizadas de volta na cena. Aperfeiçoamento da cena.

Os elementos deformáveis entram depois em sessões separadas do agente. Um cabo torna-se uma linha central contínua mais um raio para simulação de hastes; tecido ou papel torna-se uma superfície média 2D com espessura para simulação de cascas; uma almofada torna-se um sólido fechado para geração de malha tetraédrica. Sólidos de alta resolução podem ser associados a um proxy de simulação mais simples. Competências reutilizáveis do simulador inicializam modelos constitutivos e definições de contacto num backend da família IPC. A geometria determina a discretização, enquanto o comportamento determina se o modelo de material escolhido é adequado. Reconstrução de elementos deformáveis.

Por fim, o agente planeia interações robóticas de diagnóstico e verifica tanto a validade numérica como o comportamento da tarefa. Ensaios falhados desencadeiam revisões por uma ordem fixa: movimento, geometria, definições numéricas e, depois, modelo de material. No teste de dobragem de papel, a flexão elástica continua numericamente válida, mas recupera a forma. Com a mesma trajetória da pinça, as dobradiças plásticas retêm 92,5% do ângulo de dobragem máximo um segundo após a libertação, contra 3,7% com flexão elástica. O teste verifica, portanto, mais do que se uma simulação é executada sem falhas. Experiência de dobragem controlada.

Aplicações, disponibilidade e direções futuras

Os resultados demonstrados são relevantes para experiências de interação robótica e ambientes de simulação editáveis; o artigo também motiva a criação de jogos e de conteúdos imersivos. Os seus parâmetros físicos são definições eficazes sob modelos assumidos, não medições recuperadas de dinâmicas reais. À data de 6 de novembro de 2026, a página oficial do projeto continuava a indicar “Code Soon”; não estava disponível nenhuma implementação ali ligada para verificação ao nível do código. O artigo não apresenta um roteiro explícito de trabalhos futuros. O próximo passo concreto anunciado é a disponibilização do código, sem qualquer calendário indicado. Este artigo baseia-se no artigo científico e nos materiais oficiais, sem voltar a executar o sistema. Projeto e demonstrações.