EasyMocap: แปลงวิดีโอเป็นการเคลื่อนไหวมนุษย์ 3 มิติ

จุดเด่นและผลลัพธ์

EasyMocap คือชุดเครื่องมือของ ZJU3DV สำหรับจับการเคลื่อนไหวของมนุษย์แบบไม่ใช้มาร์กเกอร์จากวิดีโอ RGB โดยผสานตัวตรวจจับท่าทาง เรขาคณิตของกล้อง การติดตาม และโมเดลมนุษย์แบบพาราเมตริก เพื่อกู้คืนโครงกระดูก 3 มิติและการเคลื่อนไหวร่างกาย รองรับการตั้งค่าการจับหลายรูปแบบ รวมถึงการบันทึกจากกล้องหลายตัวที่ปรับเทียบแล้ว วิดีโออินเทอร์เน็ตแบบกล้องเดี่ยว และการจับที่ใช้กระจกช่วย สำหรับนักวิจัยด้านแอนิเมชันและคอมพิวเตอร์วิทัศน์ คุณค่าของระบบอยู่ที่ไปป์ไลน์ที่ตรวจสอบได้ ซึ่งสามารถตรวจสอบผลการตรวจจับระหว่างทาง การสร้างใหม่ และการฟิตแยกจากกันได้ คลังโค้ดอย่างเป็นทางการ

คลังโค้ดนี้สาธิตการฟิตร่างกาย มือ และใบหน้าด้วย SMPL, SMPL+H, SMPL-X และ MANO พร้อมการสร้างใหม่สำหรับหลายบุคคลและโครงการสังเคราะห์มุมมองใหม่ที่เกี่ยวข้อง ชุดข้อมูลเริ่มต้นใช้งานอย่างรวดเร็วมี 800 เฟรมจากกล้อง 23 ตัวที่ซิงโครไนซ์และปรับเทียบแล้ว สิ่งเหล่านี้เป็นการสาธิตที่เป็นรูปธรรม ไม่ใช่การรับประกันความแม่นยำเพียงค่าเดียวสำหรับทุกโหมดที่รองรับ เริ่มต้นใช้งานอย่างรวดเร็ว

หนึ่งในงานวิจัยพื้นฐาน Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views รายงานค่า PCP 96.3% บน Campus และ 96.9% บน Shelf PCP วัดสัดส่วนชิ้นส่วนร่างกายที่ประเมินได้ถูกต้องภายใต้โพรโทคอลเบนช์มาร์กเหล่านั้น ผลลัพธ์เหล่านี้เป็นผลจากวิธีเฉพาะของบทความดังกล่าว ไม่ใช่การวัดจาก EasyMocap checkout ปัจจุบันหรือเส้นทางกล้องเดี่ยว

วิธีการทำงาน

เส้นทางหลายมุมมองมาตรฐานเริ่มจากภาพที่ซิงโครไนซ์และการปรับเทียบกล้อง ไปสู่จุดสำคัญ 2 มิติ การจับคู่ข้ามมุมมองเมื่อมีหลายบุคคล โครงกระดูก 3 มิติที่สร้างด้วยการหาสามเหลี่ยม การติดตามตามเวลา และการฟิตโมเดลร่างกายเป็นลำดับ ขั้นตอนการประสานงานหลักจะเลือกไฟล์การกำหนดค่าสำหรับการสร้างใหม่และการฟิต ระบบนี้เป็นระบบประมาณค่าแบบโมดูลาร์ โดยมีเส้นทางต่างกันสำหรับเงื่อนไขการจับที่แตกต่างกัน จุดเริ่มต้น

สำหรับบุคคลเดียว ข้อต่อที่ตรวจจับได้จะมีคะแนนความเชื่อมั่น เมทริกซ์การฉายของกล้องจะแปลงการสังเกต 2 มิติที่ตรงกันให้เป็นค่าประมาณข้อต่อ 3 มิติ เดโมหลายมุมมองจะฉายค่าประมาณเหล่านั้นกลับเข้าไปในกล้อง ปฏิเสธการสังเกตที่เกินเกณฑ์ความคลาดเคลื่อนในการฉายกลับ แล้วทำการหาสามเหลี่ยมอีกครั้ง ผลป้อนกลับนี้ทำให้เห็นข้อผิดพลาดในการตรวจจับก่อนที่จะฟิตเมชร่างกาย ดังนั้นการปรับเทียบและการซิงโครไนซ์จึงเป็นอินพุตที่กำหนดคุณภาพของการสร้างใหม่ ไม่ใช่ขั้นตอนขัดเกลาที่เลือกทำหรือไม่ทำก็ได้ การสร้างใหม่สำหรับบุคคลเดียว

การมีหลายบุคคลทำให้เกิดปัญหาการจับคู่ตัวตน กล่าวคือ การตรวจจับจากกล้องต่างตัวต้องเป็นของบุคคลเดียวกัน บทความวิจัยผสานหลักฐานด้านรูปลักษณ์และเอพิพูลาร์เข้ากับการจับคู่หลายทางที่สอดคล้องกันเป็นวัฏจักร เดโม EasyMocap ที่ตรวจสอบมีรายละเอียดเฉพาะเจาะจงกว่า โดยการกำหนดค่าเริ่มต้นใช้ความสัมพันธ์ทางเรขาคณิตที่อิงรังสีและการจับคู่แบบกำหนดค่าเอกพจน์ด้วยการกำหนดเกณฑ์ ตามด้วยการจับคู่และการตรวจสอบการยอมรับทางเรขาคณิต การกำหนดค่านี้ต้องการมุมมองสนับสนุนอย่างน้อยสามมุม ดังนั้นไม่ควรนำวิธีที่อิงรูปลักษณ์แบบเต็มของบทความไปอ้างกับค่าที่ตั้งไว้ล่วงหน้าทุกรายการในคลังโค้ดโดยไม่ระบุ การกำหนดค่าเริ่มต้น; การใช้งานความสัมพันธ์

การฟิตจะแปลงการวัดโครงกระดูกให้เป็นพื้นผิวมนุษย์ที่สอดคล้องกัน ไปป์ไลน์ที่ตรวจสอบจะประมาณรูปร่างร่างกายร่วมจากความยาวแขนขา ปรับค่าการหมุนและการเลื่อนระดับโลกให้เหมาะสม จากนั้นจึงปรับท่าทางร่างกาย ตามด้วยมือหรือการแสดงสีหน้าเมื่อโมเดลที่เลือกไว้รองรับ ขั้นตอน 2 มิติแบบทางเลือกจะฟิตหลักฐานการฉายกลับเพิ่มเติม ฟังก์ชันสูญเสียข้อต่อแบบถ่วงน้ำหนัก การทำให้เป็นระเบียบ และพจน์ตามเวลาจะช่วยจำกัดผลลัพธ์ สิ่งเหล่านี้คือพารามิเตอร์ของโมเดลมนุษย์ที่ระบุไว้อย่างชัดเจน ไม่ใช่ค่าลาเทนต์จาก diffusion ที่ถูกดีนอยส์ให้กลายเป็นการเคลื่อนไหว การฟิตเป็นลำดับ

ในทางกลับกัน เส้นทางกล้องเดี่ยวจะผสานการสังเกต 2 มิติเข้ากับการเริ่มต้นด้วย CNN และไพรเออร์ของโมเดลร่างกาย ไม่มีมุมมองกล้องพร้อมกันหลายมุมให้ทำการหาสามเหลี่ยม ดังนั้นความกำกวมด้านความลึกจึงแตกต่างจากการจับหลายมุมมอง ผลลัพธ์ประกอบด้วย JSON ข้อต่อ 3 มิติรายเฟรมและพารามิเตอร์ร่างกาย เช่น ท่าทาง รูปร่าง การหมุนระดับโลก Rh และการเลื่อนระดับ Th การแสดงแทนที่ระบุไว้ใช้ V = R X(θ, β) + T; ไม่ควรคัดลอก Rh ไปใส่ในฟิลด์ global_orient ของ SMPL-X โดยไม่ตรวจสอบ สัญญาผลลัพธ์

แอปพลิเคชัน ความพร้อมใช้งาน และทิศทางในอนาคต

EasyMocap เป็นจุดเริ่มต้นที่มีประโยชน์สำหรับงานวิจัยด้านการวิเคราะห์การเคลื่อนไหว แอนิเมชันอวตาร และการสร้างมนุษย์ขึ้นใหม่ ผลลัพธ์การจับของระบบไม่ได้เป็นอวตารที่มีพื้นผิวหรือแอนิเมชันที่รีทาร์เก็ตไปยังตัวละครใดโดยอัตโนมัติ การส่งออก BVH มีการจัดทำเอกสารไว้เป็นขั้นตอนแยกต่างหากโดยใช้ Blender และแอสเซ็ต SMPL ณ commit ที่ตรวจสอบ ใบอนุญาต Project Registration License ของคลังโค้ดอนุญาตให้ใช้เพื่อการวิจัย การศึกษา การประเมิน และการใช้งานส่วนบุคคลโดยไม่ต้องลงทะเบียน ขณะที่การใช้งานโครงการขององค์กรต้องลงทะเบียน โดยดีเพนเดนซีของโมเดลร่างกายมีข้อกำหนดของตนเอง ใบอนุญาตคลังโค้ด

README ยังคงระบุว่าการวิเคราะห์ข้อต่อของวิดีโออินเทอร์เน็ตหลายรายการที่แสดงการกระทำเฉพาะ และตัวอย่างการสังเคราะห์มุมมองของการเคลื่อนไหวที่ท้าทายรายการหนึ่งนั้น “กำลังจะมา” TODO ทั่วไปไม่ได้ให้กำหนดการโดยละเอียด ดังนั้นรายการเหล่านี้จึงยังเป็นงานที่ระบุไว้แต่ยังไม่เสร็จ แทนที่จะเป็นคำมั่นสัญญาการส่งมอบที่มีวันที่ การทบทวนนี้อ่าน commit e6006fd และงานวิจัยที่เชื่อมโยงไว้ ไม่ได้รายงานการทดลองจับภาพใหม่ สถานะการเผยแพร่