EasyMocap: dai video al movimento umano 3D

Punti salienti e risultati

EasyMocap è il toolbox di ZJU3DV per la cattura del movimento umano senza marker a partire da video RGB. Combina rilevatori di posa, geometria delle telecamere, tracking e modelli umani parametrici per ricostruire scheletri 3D e movimento del corpo. Supporta diverse configurazioni di cattura, incluse registrazioni calibrate con più telecamere, video Internet monoculari e cattura assistita da specchio. Per i ricercatori di animazione e computer vision, il suo valore risiede in una pipeline ispezionabile, i cui rilevamenti intermedi, la ricostruzione e i risultati del fitting possono essere verificati separatamente. Repository ufficiale.

Il repository dimostra il fitting di corpo, mani e viso con SMPL, SMPL+H, SMPL-X e MANO, insieme alla ricostruzione multi-persona e a progetti correlati di sintesi di nuove viste. Il dataset di avvio rapido contiene 800 fotogrammi provenienti da 23 telecamere sincronizzate e calibrate. Si tratta di dimostrazioni concrete, non di un'unica garanzia di accuratezza per ogni modalità supportata. Avvio rapido.

Una base di ricerca, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, riporta un PCP del 96.3% su Campus e del 96.9% su Shelf. Il PCP misura le parti del corpo stimate correttamente secondo quei protocolli di benchmark. Questi sono risultati del metodo specifico di quell'articolo, non misurazioni dell'attuale checkout di EasyMocap o del suo percorso monoculare.

Come funziona

Il percorso multi-view standard procede dalle immagini sincronizzate e dalla calibrazione delle telecamere ai keypoint 2D, all'associazione tra viste quando sono presenti più persone, agli scheletri 3D triangolati, al tracking temporale e al fitting graduale del modello corporeo. Il punto di ingresso principale dell'orchestrazione seleziona i file di configurazione per la ricostruzione e il fitting; si tratta di un sistema di stima modulare, con percorsi diversi per condizioni di cattura diverse. Punto di ingresso.

Per una singola persona, le articolazioni rilevate hanno punteggi di confidenza. Le matrici di proiezione delle telecamere trasformano le osservazioni 2D corrispondenti in stime delle articolazioni 3D. La demo multi-view riproietta tali stime nelle telecamere, rifiuta le osservazioni che superano la soglia di errore di riproiezione e triangola nuovamente. Questo feedback rende visibili gli errori di rilevamento prima che venga adattata una mesh corporea. La calibrazione e la sincronizzazione sono quindi input che determinano la qualità della ricostruzione, non passaggi facoltativi di rifinitura. Ricostruzione di una singola persona.

La presenza di più persone introduce un problema di associazione delle identità: i rilevamenti provenienti da telecamere diverse devono appartenere alla stessa persona. L'articolo di ricerca combina l'aspetto e le evidenze epipolari con un matching multi-way coerente rispetto ai cicli. La demo di EasyMocap analizzata è più specifica: la sua configurazione predefinita usa un'affinità geometrica basata sui raggi e un matching con soglia dei valori singolari, seguiti da controlli di associazione e accettazione geometrica. In quella configurazione sono necessarie almeno tre viste di supporto. Pertanto, il metodo completo basato sull'aspetto descritto nell'articolo non dovrebbe essere attribuito silenziosamente a ogni preset del repository. Configurazione predefinita; Implementazione dell'affinità.

Il fitting converte le misurazioni dello scheletro in una superficie umana coerente. La pipeline analizzata stima la forma corporea condivisa a partire dalle lunghezze degli arti, ottimizza la rotazione e la traslazione globali, quindi la posa del corpo, seguite da mani o espressione facciale quando il modello selezionato le supporta. Un'ulteriore fase 2D esegue opzionalmente il fitting delle evidenze di riproiezione. Le perdite sulle articolazioni pesate, la regolarizzazione e i termini temporali vincolano il risultato. Si tratta di parametri espliciti del modello umano, non di un latent diffusion sottoposto a denoising per ottenere il movimento. Fitting graduale.

Il percorso monoculare combina invece osservazioni 2D con un'inizializzazione CNN e prior del modello corporeo. Non dispone di viste simultanee della telecamera da triangolare, quindi la sua ambiguità di profondità differisce da quella della cattura multi-view. Gli output includono JSON delle articolazioni 3D per fotogramma e parametri corporei come pose, forma, rotazione globale Rh e traslazione Th. La rappresentazione documentata usa V = R X(θ, β) + T; Rh non dovrebbe essere copiato ciecamente nel campo global_orient di SMPL-X. Contratto dell'output.

Applicazioni, disponibilità e direzioni future

EasyMocap offre un utile punto di partenza per la ricerca nell'analisi del movimento, nell'animazione di avatar e nella ricostruzione umana. Il suo output di cattura non è automaticamente un avatar texturizzato né un'animazione retargettizzata su un personaggio qualsiasi. L'esportazione BVH è documentata come passaggio separato che usa Blender e asset SMPL. Al commit analizzato, la Project Registration License del repository consente l'uso per ricerca, istruzione, valutazione e uso personale senza registrazione, mentre l'uso in progetti organizzativi richiede la registrazione; le dipendenze dei modelli corporei hanno condizioni proprie. Licenza del repository.

Il README indica ancora come “coming soon” l'analisi congiunta delle articolazioni di più video Internet che mostrano un'azione specifica e un esempio di sintesi di nuove viste con movimento impegnativo. Il TODO generico non fornisce alcuna pianificazione dettagliata, quindi questi restano elementi non completati documentati, non promesse di consegna datate. Questa analisi esamina il commit e6006fd e la ricerca collegata; non riporta un nuovo esperimento di cattura. Stato della release.