CoDimRecon: Reconstrucción agéntica de escenas 3D listas para simulación con geometría deformable

Artículo original: ​CoDimRecon: Reconstrucción agéntica de escenas 3D listas para simulación con curvas, superficies y volúmenes deformables

Aspectos destacados y resultados

CoDimRecon reconstruye un entorno interior editable a partir de imágenes RGB multivista, incluidos fotogramas capturados mientras se mueve una cámara por una habitación. Su salida contiene objetos rígidos separados, partes articuladas con juntas y recursos deformables preparados para la simulación física. Para quienes construyen entornos 3D interactivos, la contribución central es conectar la reconstrucción visual con las representaciones geométricas y las comprobaciones de comportamiento que la simulación realmente requiere.

Las demostraciones oficiales incluyen un cable telefónico que se estira, una bolsa de plástico que se deforma, el cojín compresible de una silla y un cajón deslizante. En tres escenas de Replica y tres de ScanNet++, los autores informan de distancias de Chamfer de 6.63 cm y 21.66 cm, respectivamente, frente a los 6.79 cm y 27.15 cm de HoloScene. Sin embargo, HoloScene conserva un PSNR y un SSIM superiores en las vistas de entrada. Estos resultados muestran un equilibrio entre geometría editable, utilidad física y fidelidad fotométrica; no establecen una superioridad universal en reconstrucción. Las interacciones deformables son demostraciones de capacidades, no una comparación entre métodos. Experimentos.

Cómo funciona

El flujo de trabajo tiene tres etapas: construir una escena editable usando referencias geométricas y generadas; refinar la apariencia, las juntas y la colocación de los cuerpos rígidos; y después reconstruir los deformables en formas compatibles con el solucionador y probar su comportamiento. Orquesta percepción preentrenada, generación, un agente, Blender y simuladores sin entrenar específicamente un nuevo generador de escenas. Descripción oficial del método.

Primero, VGGT-Omega proporciona parámetros de cámara, profundidad y mapas de puntos para fijar la distribución y las dimensiones. CropFormer extrae máscaras de objetos, que se retroproyectan y agrupan entre vistas en seguimientos de instancias 3D. SAM3D genera una malla de referencia para cada seguimiento; REST3D ayuda a recuperar objetos pequeños omitidos. El agente utiliza estas mallas como referencias de forma y reconstruye el mobiliario a partir de primitivas y modificadores de Blender. Esto produce una geometría compacta y editable, y expone componentes móviles, en lugar de aceptar simplemente cada malla generada como recurso final. Reconstrucción.

A continuación, un ciclo de renderizado–evaluación–refinamiento compara la escena creada con sus vistas de entrada. La alineación cuadrática del color por canal, c′ = ac² + bc + d, ayuda a diagnosticar errores: una mejora sustancial sugiere un desajuste de iluminación o material; una mejora escasa apunta a la geometría o la pose. El agente añade juntas explícitas y asienta los objetos bajo la gravedad en MuJoCo, escribiendo sus posiciones estabilizadas de vuelta en la escena. Refinamiento de la escena.

A continuación, los deformables entran en sesiones de agente separadas. Un cable se convierte en una línea central continua más un radio para la simulación de varillas; la tela o el papel se convierten en una superficie media con espesor para la simulación de láminas; un cojín se convierte en un sólido cerrado para el mallado tetraédrico. Los sólidos de alta resolución pueden vincularse a un proxy de simulación más simple. Las habilidades reutilizables del simulador inicializan modelos constitutivos y configuraciones de contacto en un backend de la familia IPC. La geometría determina la discretización, mientras que el comportamiento determina si el modelo de material elegido es adecuado. Reconstrucción de deformables.

Por último, el agente planifica interacciones robóticas de diagnóstico y comprueba tanto la validez numérica como el comportamiento de la tarea. Los ensayos fallidos activan revisiones en un orden fijo: movimiento, geometría, configuración numérica y, después, modelo de material. En la prueba de plegado de papel, la flexión elástica sigue siendo numéricamente válida, pero vuelve a su forma original. Con la misma trayectoria de la pinza, las bisagras plásticas conservan el 92.5% del ángulo máximo de plegado un segundo después de la liberación, frente al 3.7% con flexión elástica. Por tanto, la prueba comprueba algo más que si una simulación se ejecuta sin bloquearse. Experimento de plegado controlado.

Aplicaciones, disponibilidad y futuras direcciones

Las salidas demostradas son relevantes para experimentos de interacción robótica y entornos de simulación editables; el artículo también sirve de motivación para la creación de videojuegos y contenido inmersivo. Sus parámetros físicos son configuraciones efectivas bajo modelos asumidos, no mediciones recuperadas de dinámicas reales. Según la comprobación realizada el 6 de noviembre de 2026, la página oficial del proyecto aún indica “Code Soon”; no había ninguna implementación enlazada allí disponible para verificación a nivel de código. El artículo no proporciona una hoja de ruta explícita para trabajos futuros. El siguiente paso concreto anunciado es la publicación del código, sin un calendario establecido. Este artículo se basa en el artículo científico y en materiales oficiales, sin volver a ejecutar el sistema. Proyecto y demostraciones.