EasyMocap: Convierte vídeo en movimiento humano 3D

Aspectos destacados y resultados

EasyMocap es la caja de herramientas de ZJU3DV para la captura de movimiento humano sin marcadores a partir de vídeo RGB. Combina detectores de poses, geometría de cámaras, seguimiento y modelos humanos paramétricos para recuperar esqueletos 3D y movimiento corporal. Admite varias configuraciones de captura, incluidas grabaciones multicámara calibradas, vídeos monoculares de Internet y captura asistida por espejos. Para investigadores de animación y visión por computador, su valor reside en una canalización inspeccionable cuyos resultados intermedios de detección, reconstrucción y ajuste pueden comprobarse por separado. Repositorio oficial.

El repositorio demuestra el ajuste de cuerpo, manos y rostro con SMPL, SMPL+H, SMPL-X y MANO, junto con la reconstrucción de varias personas y proyectos relacionados de síntesis de nuevas vistas. Su conjunto de datos de inicio rápido contiene 800 fotogramas de 23 cámaras sincronizadas y calibradas. Estas son demostraciones concretas, no una garantía única de precisión para todos los modos compatibles. Inicio rápido.

Una base de investigación, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, informa de un PCP del 96,3 % en Campus y del 96,9 % en Shelf. El PCP mide las partes del cuerpo estimadas correctamente conforme a esos protocolos de referencia. Estos son resultados del método específico de ese artículo, no mediciones de la versión actual de EasyMocap ni de su ruta monocular.

Cómo funciona

La ruta multicámara estándar parte de imágenes sincronizadas y de la calibración de las cámaras para obtener puntos clave 2D, asociación entre vistas cuando hay varias personas, esqueletos 3D triangulados, seguimiento temporal y ajuste por etapas del modelo corporal. La entrada principal de orquestación selecciona archivos de configuración para la reconstrucción y el ajuste; se trata de un sistema de estimación modular, con distintas rutas para diferentes condiciones de captura. Punto de entrada.

Para una sola persona, las articulaciones detectadas incluyen puntuaciones de confianza. Las matrices de proyección de las cámaras convierten las observaciones 2D correspondientes en estimaciones de articulaciones 3D. La demostración multicámara vuelve a proyectar esas estimaciones en las cámaras, rechaza las observaciones que superan su umbral de error de reproyección y vuelve a triangular. Esta retroalimentación hace visibles los errores de detección antes de ajustar una malla corporal. Por tanto, la calibración y la sincronización son entradas que determinan la calidad de la reconstrucción, no pasos opcionales de pulido. Reconstrucción de una sola persona.

La presencia de varias personas introduce un problema de asociación de identidades: las detecciones de distintas cámaras deben corresponder a la misma persona. El artículo de investigación combina la apariencia y la evidencia epipolar con una correspondencia multilateral consistente con los ciclos. La demostración de EasyMocap inspeccionada es más específica: su configuración predeterminada utiliza afinidad geométrica basada en rayos y correspondencia mediante umbralización de valores singulares, seguida de comprobaciones de asociación y aceptación geométrica. En esa configuración requiere al menos tres vistas de apoyo. Por tanto, el método completo basado en la apariencia del artículo no debe atribuirse silenciosamente a todos los ajustes preestablecidos del repositorio. Configuración predeterminada; Implementación de afinidad.

El ajuste convierte las mediciones del esqueleto en una superficie humana coherente. La canalización inspeccionada estima la forma corporal compartida a partir de las longitudes de las extremidades, optimiza la rotación y la traslación globales, y después la pose corporal, seguida de las manos o la expresión facial cuando el modelo seleccionado las admite. Una etapa 2D opcional ajusta adicionalmente la evidencia de reproyección. Las pérdidas ponderadas de las articulaciones, la regularización y los términos temporales restringen el resultado. Se trata de parámetros explícitos del modelo humano, no de un latente de difusión al que se le elimina ruido para convertirlo en movimiento. Ajuste por etapas.

La ruta monocular, en cambio, combina observaciones 2D con una inicialización mediante CNN y priors del modelo corporal. No dispone de vistas de cámara simultáneas que triangular, por lo que su ambigüedad de profundidad difiere de la captura multicámara. Las salidas incluyen JSON de articulaciones 3D por fotograma y parámetros corporales como poses, forma, rotación global Rh y traslación Th. La representación documentada utiliza V = R X(θ, β) + T; Rh no debe copiarse ciegamente en el campo global_orient de SMPL-X. Contrato de salida.

Aplicaciones, disponibilidad y futuras direcciones

EasyMocap proporciona un punto de partida de investigación útil para el análisis del movimiento, la animación de avatares y la reconstrucción humana. Su salida de captura no es automáticamente un avatar texturizado ni una animación retargetizada para cualquier personaje. La exportación a BVH está documentada como un paso separado mediante Blender y recursos de SMPL. En el commit inspeccionado, la licencia Project Registration del repositorio permite el uso de investigación, educativo, de evaluación y personal sin registro, mientras que el uso del proyecto por parte de organizaciones requiere registro; las dependencias de los modelos corporales tienen sus propios términos. Licencia del repositorio.

El README todavía etiqueta como «próximamente» el análisis conjunto de varias secuencias de Internet que muestran una acción específica y un ejemplo de síntesis de vistas de un movimiento difícil. La lista TODO genérica no proporciona un calendario detallado, por lo que estos siguen siendo elementos documentados sin terminar, no promesas de entrega fechadas. Esta revisión analiza el commit e6006fd y la investigación enlazada; no informa de un nuevo experimento de captura. Estado de la versión.