EasyMocap: Перетворення відео на 3D-рух людини

Основні моменти та результати

EasyMocap — це набір інструментів ZJU3DV для безмаркерного захоплення рухів людини з відео RGB. Він поєднує детектори поз, геометрію камер, відстеження та параметричні моделі людини для відновлення 3D-скелетів і рухів тіла. Він підтримує кілька налаштувань захоплення, зокрема записи з відкаліброваних кількох камер, монокулярні відео з Інтернету та захоплення за допомогою дзеркала. Для дослідників анімації та комп’ютерного зору його цінність полягає в інспектованому конвеєрі, проміжні детекції, реконструкцію та результати підгонки якого можна перевіряти окремо. Офіційний репозиторій.

Репозиторій демонструє підгонку тіла, рук і обличчя за допомогою SMPL, SMPL+H, SMPL-X і MANO, а також багатолюдську реконструкцію та пов’язані проєкти синтезу з нових ракурсів. Набір даних для швидкого старту містить 800 кадрів із 23 синхронізованих, відкаліброваних камер. Це конкретні демонстрації, а не єдина гарантія точності для кожного підтримуваного режиму. Швидкий старт.

В одній із дослідницьких основ, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, повідомляється про 96.3% PCP на Campus і 96.9% на Shelf. PCP вимірює частку правильно оцінених частин тіла за відповідними протоколами тестування. Це результати конкретного методу з тієї статті, а не вимірювання поточної версії EasyMocap чи її монокулярного шляху.

Як це працює

Стандартний багаторакурсцевий шлях переходить від синхронізованих зображень і калібрування камер до 2D-ключових точок, зіставлення між ракурсами, коли присутньо кілька людей, тріангуляції 3D-скелетів, часового відстеження та поетапної підгонки моделі тіла. Основна точка оркестрації вибирає файли конфігурації для реконструкції та підгонки; це модульна система оцінювання з різними шляхами для різних умов захоплення. Точка входу.

Для однієї людини виявлені суглоби мають оцінки впевненості. Матриці проєкції камер перетворюють відповідні 2D-спостереження на оцінки 3D-суглобів. Демонстрація з кількома ракурсами повторно проєктує ці оцінки в камери, відхиляє спостереження, що перевищують її поріг помилки репроєкції, і знову виконує тріангуляцію. Завдяки цьому зворотному зв’язку помилки детекції стають видимими ще до підгонки сітки тіла. Отже, калібрування та синхронізація є вхідними даними, що визначають якість реконструкції, а не необов’язковими етапами полірування. Реконструкція однієї людини.

Кілька людей створюють проблему зіставлення ідентичностей: детекції з різних камер мають належати одній і тій самій людині. У дослідницькій статті поєднано ознаки зовнішності та епіполярні дані з узгодженим за циклами багатостороннім зіставленням. Перевірена демонстрація EasyMocap є конкретнішою: її стандартна конфігурація використовує геометричну спорідненість на основі променів і зіставлення з порогуванням сингулярних значень, після чого виконується зіставлення та геометричні перевірки прийнятності. У цій конфігурації потрібно щонайменше три опорні ракурси. Тому повний метод на основі зовнішності зі статті не слід мовчазно приписувати кожному пресету репозиторію. Стандартна конфігурація; Реалізація спорідненості.

Підгонка перетворює вимірювання скелета на узгоджену поверхню людини. Перевірений конвеєр оцінює спільну форму тіла за довжинами кінцівок, оптимізує глобальні обертання та переміщення, потім позу тіла, а після цього — руки або вираз обличчя, якщо вибрана модель їх підтримує. Додатковий етап 2D додатково підганяє дані репроєкції. Вагові функції втрат для суглобів, регуляризація та часові складові обмежують результат. Це явні параметри моделі людини, а не латентний простір дифузійної моделі, що денойзиться до руху. Поетапна підгонка.

Монокулярний шлях натомість поєднує 2D-спостереження з ініціалізацією CNN і апріорними даними моделі тіла. Він не має одночасних ракурсів камер для тріангуляції, тому його неоднозначність глибини відрізняється від багаторакурсцевого захоплення. Результати містять JSON із 3D-суглобами для кожного кадру та параметри тіла, як-от пози, форма, глобальне обертання Rh і переміщення Th. У задокументованому представленні використовується V = R X(θ, β) + T; Rh не слід бездумно копіювати в поле global_orient моделі SMPL-X. Контракт результатів.

Застосування, доступність і майбутні напрямки

EasyMocap є корисною дослідницькою основою для аналізу рухів, анімації аватарів і реконструкції людини. Результат його захоплення не є автоматично текстурованим аватаром або анімацією, перенесеною на будь-якого персонажа. Експорт у BVH задокументовано як окремий етап із використанням Blender і ресурсів SMPL. У перевіреному коміті ліцензія Project Registration License репозиторію дозволяє дослідницьке, освітнє, оціночне та особисте використання без реєстрації, тоді як використання в організаційних проєктах потребує реєстрації; залежності моделей тіла мають власні умови. Ліцензія репозиторію.

README досі позначає спільний аналіз суглобів у кількох відео з Інтернету, що демонструють конкретну дію, і один приклад синтезу ракурсу для складного руху як “coming soon”. Загальний TODO не містить детального графіка, тому це залишаються задокументованими незавершеними пунктами, а не обіцянками постачання із зазначеними датами. У цьому огляді розглянуто коміт e6006fd і пов’язані дослідження; він не описує нового експерименту із захоплення. Статус випуску.