EasyMocap: превращение видео в 3D-движение человека

Основные моменты и результаты

EasyMocap — это набор инструментов ZJU3DV для захвата движений человека без маркеров по RGB-видео. Он объединяет детекторы позы, геометрию камер, трекинг и параметрические модели человека для восстановления 3D-скелетов и движений тела. Он поддерживает несколько сценариев захвата, включая записи с нескольких откалиброванных камер, монокулярные интернет-видео и захват с использованием зеркала. Для исследователей в области анимации и компьютерного зрения его ценность заключается в проверяемом конвейере, промежуточные результаты детектирования, реконструкции и подгонки которого можно анализировать по отдельности. Официальный репозиторий.

Репозиторий демонстрирует подгонку тела, рук и лица с использованием SMPL, SMPL+H, SMPL-X и MANO, а также многопользовательскую реконструкцию и связанные с ней проекты синтеза новых ракурсов. В его набор данных для быстрого старта входят 800 кадров с 23 синхронизированных откалиброванных камер. Это конкретные демонстрации, а не единая гарантия точности для каждого поддерживаемого режима. Быстрый старт.

В одной из исследовательских основ, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, сообщается о показателе PCP 96,3% для Campus и 96,9% для Shelf. PCP измеряет долю правильно оценённых частей тела в рамках этих протоколов тестирования. Это результаты конкретного метода из той статьи, а не измерения текущей версии EasyMocap или её монокулярного пути.

Как это работает

Стандартный многокамерный путь начинается с синхронизированных изображений и калибровки камер, затем выполняются получение 2D-ключевых точек, сопоставление между ракурсами при наличии нескольких людей, триангуляция 3D-скелетов, временной трекинг и поэтапная подгонка модели тела. Основная точка оркестрации выбирает файлы конфигурации для реконструкции и подгонки; это модульная система оценивания с разными путями для разных условий захвата. Точка входа.

Для одного человека обнаруженные суставы сопровождаются оценками уверенности. Матрицы проекции камер преобразуют совпадающие 2D-наблюдения в оценки 3D-суставов. Демонстрация многокамерной работы проецирует эти оценки обратно в камеры, отбрасывает наблюдения, превышающие порог ошибки репроекции, и снова выполняет триангуляцию. Благодаря этой обратной связи ошибки детектирования становятся видимыми до подгонки меша тела. Поэтому калибровка и синхронизация являются входными данными, определяющими качество реконструкции, а не необязательными этапами улучшения. Реконструкция одного человека.

Несколько людей создают задачу сопоставления идентичностей: обнаружения с разных камер должны относиться к одному и тому же человеку. В исследовательской статье признаки внешнего вида и эпиполярные данные объединяются с согласованным по циклу многовариантным сопоставлением. Проверенная демонстрация EasyMocap конкретнее: её конфигурация по умолчанию использует геометрическое сродство на основе лучей и сопоставление с порогом сингулярных значений, после чего выполняются ассоциация и проверки геометрического принятия. В этой конфигурации требуется как минимум три поддерживающих ракурса. Поэтому полный метод на основе внешнего вида из статьи не следует молча приписывать каждому пресету репозитория. Конфигурация по умолчанию; Реализация сродства.

Подгонка преобразует измерения скелета в согласованную поверхность человека. Проверенный конвейер оценивает общую форму тела по длине конечностей, оптимизирует глобальные вращение и перемещение, затем позу тела, а после этого — кисти или выражение лица, если выбранная модель их поддерживает. Необязательный этап 2D дополнительно подгоняет данные репроекции. Взвешенные функции потерь для суставов, регуляризация и временные члены ограничивают результат. Это явные параметры модели человека, а не латентное представление диффузионной модели, из которого шумоподавлением получается движение. Поэтапная подгонка.

Монокулярный путь вместо этого объединяет 2D-наблюдения с инициализацией CNN и априорными данными модели тела. В нём нет одновременных ракурсов с камер, которые можно было бы триангулировать, поэтому неоднозначность глубины отличается от многокамерного захвата. Результаты включают JSON с 3D-суставами для каждого кадра и параметры тела, такие как позы, форма, глобальное вращение Rh и перемещение Th. В документированном представлении используется V = R X(θ, β) + T; Rh не следует бездумно копировать в поле SMPL-X global_orient. Контракт выходных данных.

Применения, доступность и дальнейшие направления

EasyMocap предоставляет полезную отправную точку для исследований анализа движений, анимации аватаров и реконструкции человека. Результат его захвата не является автоматически текстурированным аватаром или анимацией, ретаргетированной на любого персонажа. Экспорт в BVH описан как отдельный этап с использованием Blender и ресурсов SMPL. В проверенном коммите Project Registration License репозитория разрешает исследовательское, образовательное, оценочное и личное использование без регистрации, тогда как использование в проектах организаций требует регистрации; зависимости моделей тела регулируются собственными условиями. Лицензия репозитория.

В README совместный анализ суставов на нескольких интернет-видео, демонстрирующих определённое действие, и один пример синтеза ракурса для сложного движения по-прежнему помечены как «скоро». Общий список TODO не содержит подробного графика, поэтому это остающиеся незавершённые пункты документации, а не обещания поставки с конкретными датами. В этом обзоре рассматриваются коммит e6006fd и связанные исследования; новый эксперимент по захвату не проводился. Статус выпуска.