CoDimRecon: การสร้างฉาก 3D ที่พร้อมสำหรับการจำลองขึ้นใหม่โดยใช้เอเจนต์ด้วยเรขาคณิตที่เปลี่ยนรูปได้
CoDimRecon เป็นวิธีการสำหรับสร้างสภาพแวดล้อมภายในอาคารที่แก้ไขได้ขึ้นใหม่จากภาพ RGB หลายมุมมอง โดยสร้างผลลัพธ์ที่มีวัตถุแข็ง ชิ้นส่วนแบบข้อต่อ และแอสเซ็ตที่เปลี่ยนรูปได้ ซึ่งพร้อมสำหรับการจำลอง
บทความต้นฉบับ: CoDimRecon: การสร้างฉาก 3 มิติที่พร้อมสำหรับการจำลองขึ้นใหม่ด้วยเส้นโค้ง พื้นผิว และปริมาตรที่เปลี่ยนรูปได้
ไฮไลต์และผลลัพธ์
CoDimRecon สร้างสภาพแวดล้อมภายในอาคารที่แก้ไขได้ขึ้นใหม่จากภาพ RGB หลายมุมมอง รวมถึงเฟรมที่บันทึกขณะเคลื่อนกล้องผ่านห้อง ผลลัพธ์ประกอบด้วยวัตถุแข็งแยกจากกัน ชิ้นส่วนเชิงกลที่มีข้อต่อ และแอสเซ็ตที่เปลี่ยนรูปได้ซึ่งเตรียมไว้สำหรับการจำลองทางกายภาพ สำหรับผู้อ่านที่สร้างสภาพแวดล้อม 3 มิติแบบโต้ตอบได้ ผลงานหลักคือการเชื่อมโยงการสร้างภาพขึ้นใหม่เข้ากับตัวแทนทางเรขาคณิตและการตรวจสอบพฤติกรรมที่การจำลองต้องการจริง
การสาธิตอย่างเป็นทางการประกอบด้วยสายโทรศัพท์ที่ยืดได้ ถุงพลาสติกที่เปลี่ยนรูปได้ เบาะเก้าอี้ที่บีบอัดได้ และลิ้นชักที่เลื่อนได้ บนฉาก Replica สามฉากและ ScanNet++ สามฉาก ผู้เขียนรายงานระยะ Chamfer ที่ 6.63 ซม. และ 21.66 ซม. ตามลำดับ เทียบกับ 6.79 ซม. และ 27.15 ซม. ของ HoloScene อย่างไรก็ตาม HoloScene ยังคงมีค่า PSNR และ SSIM ของมุมมองอินพุตที่สูงกว่า ผลลัพธ์เหล่านี้แสดงให้เห็นถึงความแลกเปลี่ยนระหว่างเรขาคณิตที่แก้ไขได้ ความเหมาะสมทางกายภาพ และความเที่ยงตรงเชิงโฟโตเมตริก ไม่ได้ยืนยันความเหนือกว่าในการสร้างภาพขึ้นใหม่แบบสากล การโต้ตอบแบบเปลี่ยนรูปได้เป็นการสาธิตความสามารถ ไม่ใช่การเปรียบเทียบมาตรฐานข้ามวิธีการ การทดลอง
วิธีการทำงาน
เวิร์กโฟลว์มีสามขั้นตอน ได้แก่ สร้างฉากที่แก้ไขได้โดยใช้ข้อมูลอ้างอิงทางเรขาคณิตและข้อมูลที่สร้างขึ้น ปรับแต่งรูปลักษณ์ ข้อต่อ และตำแหน่งของวัตถุแข็ง จากนั้นสร้างวัตถุที่เปลี่ยนรูปได้ขึ้นใหม่ในรูปแบบที่เข้ากันได้กับตัวแก้ปัญหาและทดสอบพฤติกรรมของวัตถุเหล่านั้น ระบบประสานการทำงานของการรับรู้ที่ผ่านการฝึกไว้ล่วงหน้า การสร้างข้อมูล เอเจนต์ Blender และตัวจำลอง โดยไม่ต้องฝึกเครื่องมือสร้างฉากใหม่สำหรับงานเฉพาะ ภาพรวมวิธีการอย่างเป็นทางการ
ประการแรก VGGT-Omega จัดหาพารามิเตอร์กล้อง ความลึก และแผนที่จุดเพื่อยึดตำแหน่งและขนาด CropFormer แยกมาสก์วัตถุ ซึ่งถูกฉายย้อนกลับและจัดกลุ่มข้ามมุมมองเป็นแทร็กอินสแตนซ์ 3 มิติ SAM3D สร้างเมชอ้างอิงสำหรับแต่ละแทร็ก ส่วน REST3D ช่วยกู้คืนวัตถุขนาดเล็กที่ตกหล่นไป เอเจนต์ใช้เมชเหล่านี้เป็นข้อมูลอ้างอิงรูปร่าง สร้างเฟอร์นิเจอร์ขึ้นใหม่จากองค์ประกอบพื้นฐานและตัวปรับแต่งของ Blender วิธีนี้ทำให้ได้เรขาคณิตที่กะทัดรัดและแก้ไขได้ พร้อมเปิดเผยส่วนประกอบที่เคลื่อนที่ได้ แทนที่จะยอมรับเมชที่สร้างขึ้นทุกชิ้นเป็นแอสเซ็ตสุดท้ายโดยตรง การสร้างขึ้นใหม่
ถัดมา ลูปเรนเดอร์–ประเมินผล–ปรับปรุงจะเปรียบเทียบฉากที่สร้างขึ้นกับมุมมองอินพุต การจัดแนวสีแบบกำลังสองรายช่องสัญญาณ c′ = ac² + bc + d ช่วยวินิจฉัยข้อผิดพลาด: การปรับปรุงอย่างมากบ่งชี้ถึงความไม่ตรงกันของแสงหรือวัสดุ ส่วนการปรับปรุงเพียงเล็กน้อยชี้ไปที่เรขาคณิตหรือท่าทาง เอเจนต์เพิ่มข้อต่อที่ระบุไว้อย่างชัดเจนและปล่อยให้วัตถุเข้าสู่สมดุลภายใต้แรงโน้มถ่วงใน MuJoCo จากนั้นเขียนตำแหน่งที่เสถียรแล้วกลับเข้าไปในฉาก การปรับปรุงฉาก
จากนั้นวัตถุที่เปลี่ยนรูปได้จะเข้าสู่เซสชันของเอเจนต์แยกกัน สายเคเบิลจะกลายเป็นเส้นกึ่งกลางต่อเนื่องพร้อมรัศมีสำหรับการจำลองแบบแท่ง ส่วนผ้าหรือกระดาษจะกลายเป็นพื้นผิวกึ่งกลางแบบแมนิโฟลด์พร้อมความหนาสำหรับการจำลองแบบเปลือก และเบาะจะกลายเป็นวัตถุตันปิดสำหรับการสร้างเมชแบบเตตระฮีดรัล วัตถุตันความละเอียดสูงสามารถผูกเข้ากับตัวแทนการจำลองที่เรียบง่ายกว่าได้ ทักษะของตัวจำลองที่นำกลับมาใช้ใหม่ได้จะเริ่มต้นแบบจำลององค์ประกอบและการตั้งค่าการสัมผัสบนแบ็กเอนด์ตระกูล IPC เรขาคณิตเป็นตัวกำหนดการทำให้ไม่ต่อเนื่อง ขณะที่พฤติกรรมเป็นตัวกำหนดว่าแบบจำลองวัสดุที่เลือกนั้นเพียงพอหรือไม่ การสร้างวัตถุที่เปลี่ยนรูปได้ขึ้นใหม่
ท้ายที่สุด เอเจนต์จะวางแผนการโต้ตอบกับหุ่นยนต์เพื่อการวินิจฉัย และตรวจสอบทั้งความถูกต้องเชิงตัวเลขและพฤติกรรมของงาน การทดลองที่ล้มเหลวจะกระตุ้นให้เกิดการแก้ไขตามลำดับตายตัว ได้แก่ การเคลื่อนไหว เรขาคณิต การตั้งค่าเชิงตัวเลข และแบบจำลองวัสดุ ในการทดสอบการพับกระดาษ การดัดแบบยืดหยุ่นยังคงถูกต้องเชิงตัวเลขแต่ดีดกลับ ภายใต้เส้นทางการเคลื่อนที่ของกริปเปอร์เดียวกัน บานพับพลาสติกยังคงรักษา 92.5% ของมุมพับสูงสุดไว้หนึ่งวินาทีหลังปล่อย เทียบกับ 3.7% เมื่อใช้การดัดแบบยืดหยุ่น ดังนั้นการทดสอบนี้จึงตรวจสอบมากกว่าว่าการจำลองทำงานโดยไม่หยุดทำงานผิดพลาดหรือไม่ การทดลองพับแบบควบคุม
การประยุกต์ใช้ ความพร้อมใช้งาน และทิศทางในอนาคต
ผลลัพธ์ที่สาธิตมีความเกี่ยวข้องกับการทดลองปฏิสัมพันธ์ระหว่างหุ่นยนต์และสภาพแวดล้อมการจำลองที่แก้ไขได้ นอกจากนี้ บทความยังชี้ให้เห็นประโยชน์ต่อการสร้างเกมและเนื้อหาแบบสมจริงเสมือน พารามิเตอร์ทางกายภาพของผลลัพธ์เป็นค่าที่ใช้งานได้ภายใต้แบบจำลองที่ตั้งสมมติฐานไว้ ไม่ใช่การวัดที่กู้คืนจากพลวัตจริง ณ วันที่ตรวจสอบ 6 พฤศจิกายน 2026 หน้าโครงการอย่างเป็นทางการยังคงระบุว่า “Code Soon” และไม่มีการใช้งานที่ลิงก์ไว้ที่นั่นซึ่งพร้อมสำหรับการตรวจสอบในระดับโค้ด บทความไม่ได้ระบุแผนงานในอนาคตอย่างชัดเจน ขั้นตอนถัดไปที่ประกาศไว้อย่างเป็นรูปธรรมคือการเผยแพร่โค้ด โดยไม่ได้ระบุกำหนดเวลา บทความนี้อ้างอิงจากงานวิจัยและเอกสารอย่างเป็นทางการ โดยไม่ได้รันระบบซ้ำ โครงการและการสาธิต
คำถามที่พบบ่อย
สามารถสร้างห้องทั้งห้องขึ้นใหม่จากภาพถ่ายเพียงภาพเดียวได้หรือไม่
เวิร์กโฟลว์ที่ได้รับการประเมินใช้การสังเกตการณ์ภาพ RGB จากหลายมุมมอง ภาพถ่ายเพียงภาพเดียวไม่ใช่รูปแบบอินพุตที่งานนี้สาธิตไว้
เหตุใดสายเคเบิลและเบาะรองนั่งจึงใช้รูปแบบการแสดงผลที่แตกต่างกัน?
กลไกของแต่ละประเภทต้องใช้การทำให้เป็นดิสครีตที่แตกต่างกัน แท่งจำลองเส้นกึ่งกลางที่เรียวยาว เปลือกจำลองพื้นผิวบาง และเอลิเมนต์ไฟไนต์แบบของแข็งจำลองปริมาตร ซึ่งช่วยหลีกเลี่ยงการปฏิบัติต่อวัตถุที่เปลี่ยนรูปได้ทุกชนิดเสมือนเป็นของแข็งที่มีการสร้างเมชอย่างหนาแน่น
การผ่านการทดสอบหุ่นยนต์ของมันหมายความว่ามีการระบุวัสดุจริงแล้วหรือไม่?
ไม่ใช่ การทดสอบยืนยันความเข้ากันได้กับปฏิสัมพันธ์จำลองที่ระบุไว้ หากไม่มีพลวัตจริงที่วัดได้ ค่าความแข็ง ความหนาแน่น และการตั้งค่าการสัมผัสที่ยอมรับได้ยังคงเป็นพารามิเตอร์การจำลองที่มีประสิทธิผล
