EasyMocap: Biến video thành chuyển động cơ thể người 3D

Điểm nổi bật và kết quả

EasyMocap là bộ công cụ của ZJU3DV để thu nhận chuyển động người không cần marker từ video RGB. Nó kết hợp các bộ phát hiện tư thế, hình học camera, theo dõi và các mô hình người tham số hóa để khôi phục khung xương 3D và chuyển động cơ thể. Nó hỗ trợ nhiều thiết lập thu nhận, bao gồm ghi hình bằng nhiều camera đã hiệu chuẩn, video Internet đơn camera và thu nhận có hỗ trợ gương. Đối với các nhà nghiên cứu về hoạt ảnh và thị giác máy tính, giá trị của nó nằm ở một pipeline có thể kiểm tra, trong đó các kết quả phát hiện trung gian, tái dựng và fitting có thể được kiểm tra riêng. Kho lưu trữ chính thức.

Kho lưu trữ này trình diễn việc fitting cơ thể, bàn tay và khuôn mặt với SMPL, SMPL+H, SMPL-X và MANO, cùng với tái dựng nhiều người và các dự án tổng hợp góc nhìn mới liên quan. Bộ dữ liệu khởi động nhanh của nó chứa 800 khung hình từ 23 camera đồng bộ, đã hiệu chuẩn. Đây là những minh họa cụ thể chứ không phải một bảo đảm độ chính xác duy nhất cho mọi chế độ được hỗ trợ. Khởi động nhanh.

Một nền tảng nghiên cứu, Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views, báo cáo PCP đạt 96.3% trên Campus và 96.9% trên Shelf. PCP đo lường tỷ lệ các bộ phận cơ thể được ước tính chính xác theo những quy trình benchmark đó. Đây là kết quả của phương pháp cụ thể trong bài báo, không phải phép đo trên bản EasyMocap hiện tại hoặc đường dẫn đơn camera của nó.

Cách thức hoạt động

Quy trình nhiều góc nhìn tiêu chuẩn bắt đầu từ các hình ảnh đồng bộ và hiệu chuẩn camera, tiếp đến là các điểm then chốt 2D, liên kết giữa các góc nhìn khi có nhiều người, khung xương 3D được tam giác hóa, theo dõi theo thời gian và fitting mô hình cơ thể theo từng giai đoạn. Điểm vào điều phối chính lựa chọn các tệp cấu hình cho việc tái dựng và fitting; đây là một hệ thống ước tính dạng mô-đun, với các quy trình khác nhau cho những điều kiện thu nhận khác nhau. Điểm vào.

Đối với một người, các khớp được phát hiện đi kèm điểm tin cậy. Các ma trận phép chiếu camera chuyển những quan sát 2D tương ứng thành các ước tính khớp 3D. Bản demo nhiều góc nhìn chiếu lại các ước tính đó vào camera, loại bỏ những quan sát vượt quá ngưỡng sai số chiếu lại, rồi tam giác hóa lại. Phản hồi này làm cho các lỗi phát hiện trở nên rõ ràng trước khi mesh cơ thể được fitting. Vì vậy, hiệu chuẩn và đồng bộ là các đầu vào quyết định chất lượng tái dựng, không phải những bước đánh bóng tùy chọn. Tái dựng một người.

Nhiều người tạo ra bài toán liên kết danh tính: các phát hiện từ những camera khác nhau phải thuộc về cùng một người. Bài báo nghiên cứu kết hợp bằng chứng về diện mạo và επι cực với đối sánh nhiều chiều nhất quán theo chu kỳ. Bản demo EasyMocap được kiểm tra cụ thể hơn: cấu hình mặc định sử dụng độ tương đồng hình học dựa trên tia và đối sánh bằng ngưỡng giá trị suy biến, tiếp theo là các bước kiểm tra liên kết và chấp nhận hình học. Trong cấu hình đó, nó yêu cầu ít nhất ba góc nhìn hỗ trợ. Vì vậy, không nên mặc nhiên gán toàn bộ phương pháp dựa trên diện mạo trong bài báo cho mọi preset của kho lưu trữ. Cấu hình mặc định; Triển khai độ tương đồng.

Fitting chuyển các phép đo khung xương thành một bề mặt người nhất quán. Pipeline được kiểm tra ước tính hình dạng cơ thể dùng chung từ độ dài các chi, tối ưu hóa phép quay và phép tịnh tiến toàn cục, sau đó là tư thế cơ thể, rồi đến bàn tay hoặc biểu cảm khuôn mặt khi mô hình được chọn hỗ trợ chúng. Một giai đoạn 2D tùy chọn tiếp tục fitting bằng bằng chứng chiếu lại. Các hàm mất mát khớp có trọng số, điều chuẩn và các hạng tử theo thời gian ràng buộc kết quả. Đây là các tham số mô hình người rõ ràng, thay vì latent diffusion được khử nhiễu thành chuyển động. Fitting theo giai đoạn.

Quy trình đơn camera thay vào đó kết hợp các quan sát 2D với khởi tạo CNN và các prior của mô hình cơ thể. Nó không có các góc nhìn camera đồng thời để tam giác hóa, vì vậy sự mơ hồ về độ sâu của nó khác với thu nhận nhiều góc nhìn. Đầu ra bao gồm JSON khớp 3D theo từng khung hình và các tham số cơ thể như tư thế, hình dạng, phép quay toàn cục Rh và phép tịnh tiến Th. Biểu diễn được tài liệu hóa sử dụng V = R X(θ, β) + T; không nên sao chép Rh một cách máy móc vào trường global_orient của SMPL-X. Đặc tả đầu ra.

Ứng dụng, khả năng cung cấp và hướng phát triển tương lai

EasyMocap cung cấp một điểm khởi đầu nghiên cứu hữu ích cho phân tích chuyển động, hoạt ảnh avatar và tái dựng người. Đầu ra thu nhận của nó không tự động là một avatar có kết cấu hoặc một hoạt ảnh được retarget sang bất kỳ nhân vật nào. Việc xuất BVH được tài liệu hóa như một bước riêng sử dụng Blender và các tài sản SMPL. Tại commit được kiểm tra, Project Registration License của kho lưu trữ cho phép sử dụng cho nghiên cứu, giáo dục, đánh giá và cá nhân mà không cần đăng ký, trong khi việc sử dụng cho dự án của tổ chức yêu cầu đăng ký; các dependency của mô hình cơ thể có điều khoản riêng. Giấy phép kho lưu trữ.

README vẫn gắn nhãn việc phân tích khớp của nhiều video Internet thể hiện một hành động cụ thể và một ví dụ tổng hợp góc nhìn về chuyển động khó là “sắp ra mắt”. TODO chung không cung cấp lịch trình chi tiết, vì vậy đây vẫn là các hạng mục chưa hoàn thiện được ghi nhận thay vì những cam kết phát hành có ngày cụ thể. Bản đánh giá này đọc commit e6006fd và các nghiên cứu được liên kết; nó không báo cáo một thử nghiệm thu nhận mới. Trạng thái phát hành.