EasyMocap: Transformar vídeo em movimento humano 3D

Destaques e resultados

O EasyMocap é a caixa de ferramentas da ZJU3DV para captura de movimento humano sem marcadores a partir de vídeo RGB. Combina detetores de pose, geometria de câmaras, seguimento e modelos humanos paramétricos para recuperar esqueletos 3D e movimento corporal. Suporta várias configurações de captura, incluindo gravações multicâmara calibradas, vídeos monoculares da Internet e captura assistida por espelho. Para investigadores de animação e visão computacional, o seu valor está num pipeline inspecionável, cujas deteções intermédias, reconstrução e resultados de ajuste podem ser verificados separadamente. Repositório oficial.

O repositório demonstra o ajuste do corpo, das mãos e do rosto com SMPL, SMPL+H, SMPL-X e MANO, juntamente com reconstrução multipessoa e projetos relacionados de síntese de novas vistas. O conjunto de dados de início rápido contém 800 fotogramas de 23 câmaras sincronizadas e calibradas. Estas são demonstrações concretas, não uma garantia única de precisão para todos os modos suportados. Início rápido.

Uma base de investigação, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, apresenta 96,3% de PCP no Campus e 96,9% no Shelf. O PCP mede as partes do corpo corretamente estimadas segundo esses protocolos de referência. Estes são resultados do método específico desse artigo, não medições da versão atual do EasyMocap nem do seu percurso monocular.

Como funciona

O percurso multicâmara padrão parte de imagens sincronizadas e da calibração das câmaras, passando por pontos-chave 2D, associação entre vistas quando estão presentes várias pessoas, esqueletos 3D triangulados, seguimento temporal e ajuste faseado do modelo corporal. A entrada principal de orquestração seleciona ficheiros de configuração para reconstrução e ajuste; trata-se de um sistema de estimação modular, com percursos diferentes para diferentes condições de captura. Ponto de entrada.

Para uma única pessoa, as articulações detetadas incluem pontuações de confiança. As matrizes de projeção das câmaras convertem observações 2D correspondentes em estimativas de articulações 3D. A demonstração multicâmara reprojeta essas estimativas nas câmaras, rejeita observações que excedam o seu limiar de erro de reprojeção e volta a triangular. Este feedback torna visíveis os erros de deteção antes de ser ajustada uma malha corporal. A calibração e a sincronização são, portanto, entradas que determinam a qualidade da reconstrução, não etapas opcionais de aperfeiçoamento. Reconstrução de uma única pessoa.

A presença de várias pessoas introduz um problema de associação de identidades: as deteções de câmaras diferentes têm de pertencer à mesma pessoa. O artigo de investigação combina evidências de aparência e epipolares com correspondência multicaminho consistente em ciclos. A demonstração do EasyMocap analisada é mais específica: a sua configuração predefinida utiliza afinidade geométrica baseada em raios e correspondência por limiarização de valores singulares, seguidas de verificações de associação e aceitação geométrica. Nesta configuração, são necessárias pelo menos três vistas de suporte. Assim, o método completo baseado em aparência do artigo não deve ser atribuído silenciosamente a todas as predefinições do repositório. Configuração predefinida; Implementação da afinidade.

O ajuste converte medições do esqueleto numa superfície humana coerente. O pipeline analisado estima a forma corporal partilhada a partir dos comprimentos dos membros, otimiza a rotação e a translação globais e, em seguida, a pose corporal, seguidas das mãos ou da expressão facial quando o modelo selecionado as suporta. Uma etapa 2D opcional ajusta adicionalmente as evidências de reprojeção. Funções de perda de articulações ponderadas, regularização e termos temporais restringem o resultado. Trata-se de parâmetros explícitos de um modelo humano, e não de uma variável latente de difusão que seja transformada em movimento através de denoising. Ajuste faseado.

O percurso monocular combina, por sua vez, observações 2D com inicialização por CNN e priors do modelo corporal. Não dispõe de vistas de câmara simultâneas para triangular, pelo que a sua ambiguidade de profundidade difere da captura multicâmara. As saídas incluem JSON de articulações 3D por fotograma e parâmetros corporais, como poses, forma, rotação global Rh e translação Th. A representação documentada utiliza V = R X(θ, β) + T; Rh não deve ser copiado cegamente para o campo global_orient do SMPL-X. Contrato de saída.

Aplicações, disponibilidade e direções futuras

O EasyMocap fornece um ponto de partida útil para investigação em análise de movimento, animação de avatares e reconstrução humana. A sua saída de captura não é automaticamente um avatar texturizado nem uma animação retargetizada para qualquer personagem. A exportação para BVH está documentada como uma etapa separada que utiliza o Blender e recursos SMPL. No commit analisado, a Licença de Registo de Projeto do repositório permite utilização para investigação, fins educativos, avaliação e uso pessoal sem registo, enquanto a utilização em projetos de organizações requer registo; as dependências dos modelos corporais têm os seus próprios termos. Licença do repositório.

O README continua a assinalar como “coming soon” a análise conjunta de articulações em vários vídeos da Internet que mostram uma ação específica e um exemplo de síntese de novas vistas com movimento desafiante. O TODO genérico não fornece um calendário detalhado, pelo que estes continuam a ser itens inacabados documentados, e não promessas de entrega com data. Esta análise lê o commit e6006fd e a investigação associada; não relata uma nova experiência de captura. Estado da versão.