EasyMocap：動画を 3D 人体動作に変換

ハイライトと結果

EasyMocap は、RGB 動画からマーカーレスで人間の動作をキャプチャするための ZJU3DV のツールボックスです。ポーズ検出器、カメラ幾何、トラッキング、パラメトリックな人体モデルを組み合わせ、3D 骨格と身体動作を復元します。キャリブレーション済みのマルチカメラ録画、単眼のインターネット動画、鏡を利用したキャプチャなど、複数のキャプチャ設定に対応しています。アニメーションおよびコンピュータービジョンの研究者にとっての価値は、中間検出結果、復元結果、フィッティング結果を個別に確認できる、検査可能なパイプラインにあります。公式リポジトリ。

このリポジトリでは、SMPL、SMPL+H、SMPL-X、MANO を使った身体、手、顔のフィッティングに加え、複数人の復元や関連する新規視点合成プロジェクトを示しています。クイックスタート用データセットには、同期およびキャリブレーション済みの 23 台のカメラから取得した 800 フレームが含まれています。これらは具体的なデモンストレーションであり、サポートされるすべてのモードについて単一の精度保証を示すものではありません。クイックスタート。

研究上の基盤の 1 つである Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views では、Campus で 96.3%、Shelf で 96.9% の PCP が報告されています。PCP は、これらのベンチマークプロトコルにおいて身体部位が正しく推定された割合を測定します。これらは同論文の特定の手法による結果であり、現在の EasyMocap のチェックアウトやその単眼経路の測定値ではありません。

仕組み

標準的なマルチビュー経路では、同期画像とカメラキャリブレーションから始まり、2D キーポイント、複数人が存在する場合のビュー間対応付け、三角測量された 3D 骨格、時間的トラッキング、段階的な人体モデルフィッティングへと進みます。主なオーケストレーションエントリーポイントは、復元とフィッティング用の設定ファイルを選択します。これはモジュール式の推定システムであり、キャプチャ条件ごとに異なる経路があります。エントリーポイント。

1 人の場合、検出された関節には信頼度スコアが付与されます。カメラ投影行列により、対応する 2D 観測から 3D 関節推定値が得られます。マルチビューデモでは、それらの推定値をカメラへ再投影し、再投影誤差のしきい値を超える観測を除外して、再度三角測量を行います。このフィードバックにより、人体メッシュをフィッティングする前に検出エラーを確認できます。したがって、キャリブレーションと同期は復元品質を決定する入力であり、任意の仕上げ工程ではありません。1 人の復元。

複数人の場合、人物の同一性を対応付ける問題が生じます。異なるカメラで検出された対象が、同じ人物に属していなければなりません。研究論文では、外観情報とエピポーラ情報を、サイクル整合的な多方向マッチングと組み合わせています。調査した EasyMocap デモはより具体的で、デフォルト設定では、光線ベースの幾何学的アフィニティと特異値しきい値処理によるマッチングを使い、その後に対応付けと幾何学的な受け入れ判定を行います。この設定では、少なくとも 3 つの支持ビューが必要です。したがって、論文の完全な外観ベース手法を、すべてのリポジトリプリセットに暗黙的に帰属させるべきではありません。デフォルト設定; アフィニティ実装。

フィッティングでは、骨格の測定値を一貫した人体表面に変換します。調査したパイプラインでは、まず四肢の長さから共有される身体形状を推定し、グローバル回転と平行移動、続いて身体ポーズを最適化します。選択したモデルが対応している場合は、その後に手や顔の表情も最適化します。オプションの 2D ステージでは、再投影情報に対してさらにフィッティングを行います。重み付き関節損失、正則化、時間的項が結果を制約します。これらは明示的な人体モデルパラメーターであり、拡散潜在表現をデノイズして動作にするものではありません。段階的フィッティング。

単眼経路では、代わりに 2D 観測を CNN による初期化および人体モデルの事前分布と組み合わせます。同時に撮影されたカメラビューを三角測量することはできないため、その深度の曖昧さはマルチビューキャプチャとは異なります。出力には、フレームごとの 3D 関節 JSON と、ポーズ、形状、グローバル回転 Rh、平行移動 Th などの身体パラメーターが含まれます。文書化されている表現は V = R X(θ, β) + T です。Rh を SMPL-X の global_orient フィールドにそのままコピーしてはいけません。出力仕様。

アプリケーション、利用可能性、今後の方向性

EasyMocap は、動作分析、アバターアニメーション、人体復元のための有用な研究の出発点を提供します。そのキャプチャ出力は、テクスチャ付きアバターや、任意のキャラクターにリターゲティングされたアニメーションに自動変換されるものではありません。BVH エクスポートは、Blender と SMPL アセットを使用する別個の手順として文書化されています。調査したコミット時点では、リポジトリの Project Registration License により、登録なしで研究、教育、評価、個人利用が許可されていますが、組織によるプロジェクト利用には登録が必要です。人体モデルの依存関係には、それぞれ独自の規約があります。リポジトリライセンス。

README では現在も、特定の動作を示す複数のインターネット動画の関節解析と、難しい動作を扱う 1 つの視点合成例を「coming soon」と記載しています。一般的な TODO には詳細なスケジュールがないため、これらは日付付きの提供約束ではなく、文書化された未完了項目のままです。このレビューはコミット e6006fd とリンクされた研究を読んだものであり、新たなキャプチャ実験を報告するものではありません。リリース状況。