ไอดอล: แปลงภาพเดี่ยวเป็น 3D Gaussian Splats

จุดเด่นและผลลัพธ์

Idol จาก Speridlabs แปลงภาพถ่าย เรนเดอร์ หรือภาพที่สร้างขึ้นของวัตถุหนึ่งชิ้นให้เป็น Gaussian splat 3D ที่หมุนดูได้ โดยคาดการณ์ด้านที่มองไม่เห็นของวัตถุและส่งออกไฟล์ PLY มาตรฐาน 3DGS ที่มี Gaussian ตั้งแต่ 32,768 ถึง 1,048,576 จุด จุดเด่นเชิงปฏิบัติคือมี SDK สำหรับการอนุมานแบบสาธารณะ พร้อมควบคุมความหนาแน่นของเอาต์พุตและข้อกำหนดหน่วยความจำของ GPU สำหรับผู้บริโภคได้ แทนที่จะบังคับให้ต้องถ่ายภาพหลายมุม หน้าวิจัยอย่างเป็นทางการ

การเปรียบเทียบของผู้พัฒนาใช้ H100 หนึ่งตัวต่อโมเดล ที่ 50 sampling steps และ Gaussian 262,144 จุด Idol รายงานเวลา 6.8 วินาทีต่อคำขอ, SSIM ของมุมมองอินพุต 0.726 และความคล้ายคลึง DINOv2 ของมุมมองใหม่เจ็ดมุม 0.781 เทียบกับ TRELLIS ที่ได้ 0.716 และ 0.754 ภายใต้การตั้งค่า 50 + 50 steps ที่ระบุไว้ LGM เร็วกว่า โดยใช้เวลา 1.1 วินาที ดังนั้น Idol จึงไม่ได้เป็นผู้นำในทุกเมตริก ตัวเลขเหล่านี้เป็นผลลัพธ์ที่ผู้พัฒนารายงานเอง และการเปรียบเทียบที่แสดงไม่ได้ระบุชุดข้อมูลเบนช์มาร์กหรือจำนวนตัวอย่างที่มีชื่อไว้ เบนช์มาร์ก

ตารางเวลาอีกชุดรายงานเวลา 19.1 วินาทีบน RTX 4090 ที่การตั้งค่า 50 steps และ Gaussian 262,144 จุดเดียวกัน โดยใช้ค่ามัธยฐานจากภาพแปดภาพ โมเดลการ์ดรายงานหน่วยความจำสูงสุด 7.2 GB ดังนั้นพาดหัว “ต่ำกว่าสองวินาที” จึงไม่ควรตีความว่าเป็นเวลารันที่วัดได้ของการตั้งค่า 4090 มาตรฐานนี้ โมเดลการ์ดและการตั้งค่าฮาร์ดแวร์

วิธีการทำงาน

เส้นทางการอนุมานคือการเตรียมภาพ → การเข้ารหัสภาพคู่ → การสุ่มตัวอย่างโฟลว์ร่วมระหว่างวัตถุและกล้อง → การวางจุดยึด octree → การถอดรหัส Gaussian → การส่งออก PLY และกล้อง BiRefNet ลบพื้นหลัง และจัดกรอบวัตถุที่ 1024 × 1024 พิกเซล โหมดภาพถ่ายและภาพสังเคราะห์ใช้ระยะขอบการครอปต่างกัน คือ 1.7 และ 1.2 ตามลำดับ ไปป์ไลน์

DINOv3 จัดหาโทเค็นฟีเจอร์ภาพ ขณะที่ VAE ของ FLUX.2 จัดหาข้อมูลภาพที่ถูกบีบอัด หลังจากฉายเข้าสู่มิติการทำงานของทรานส์ฟอร์เมอร์แล้ว เอ็มเบดดิงของทั้งสองจะถูกบวกเข้าด้วยกันเพื่อสร้างเงื่อนไขภาพ การสร้างเริ่มจากเทนเซอร์สุ่มสองชุด ได้แก่ latent ของวัตถุที่มี 8,192 โทเค็น โทเค็นละ 16 แชนเนล และโทเค็นกล้องห้าแชนเนล สตรีมเหล่านี้ถูกปรับปรุงแยกกัน ก่อนที่ attention ร่วมจะประมวลผลโทเค็น latent ภาพ และกล้องร่วมกัน โมเดลทำนายความเร็วของทั้งวัตถุและกล้อง ทำให้มุมมองเป็นส่วนหนึ่งของการสร้าง แทนที่จะถือว่าเป็นอินพุตที่กำหนดแยกต่างหาก การใช้งานทรานส์ฟอร์เมอร์

ตัวสุ่มตัวอย่างผสาน rectified flow จาก noise ที่ t = 1 ไปยังข้อมูลที่ t = 0 ด้วยขั้นตอน Euler ค่าเริ่มต้นคือ 50 steps, guidance parameter w = 3 และ time shift 3 สมการ guidance จริงคือ v = (1 + w)v_cond − wv_uncond; time grid ที่ถูกเลื่อนจะจัดสรร steps มากขึ้นใกล้บริเวณที่มี noise สูง การดำเนินการเหล่านี้เปลี่ยน latent และสถานะกล้องขนาดกะทัดรัด ไม่ใช่ Gaussian ที่ระบุอย่างชัดเจนนับล้านจุดในแต่ละรอบ ตัวสุ่มตัวอย่างโฟลว์

การถอดรหัสจะขยายผลลัพธ์ขนาดกะทัดรัดนั้นในเชิงพื้นที่ ตัวถอดรหัส octree ใช้ latent ของวัตถุเป็นเงื่อนไขและกระจายจำนวนจุดยึดที่ร้องขอไปยังเซลล์ลูกแปดเซลล์ในแต่ละระดับ ตัวถอดรหัส Gaussian อ่าน latent เดียวกันผ่าน cross-attention และสร้าง Gaussian 32 จุดต่อจุดยึด โดยทำนายออฟเซ็ตตำแหน่ง สี สเกล การหมุน และความทึบแสง ดังนั้น Gaussian 262,144 จุดจึงต้องใช้จุดยึด 8,192 จุด ความหนาแน่นของเอาต์พุตถูกควบคุมในขั้นตอนการถอดรหัส ไม่ใช่จำนวนโทเค็น latent หรือระดับการแบ่งย่อยของเมช ตัวถอดรหัส

ตัวลดสัญญาณรบกวนมีพารามิเตอร์ 370.6M และตัวถอดรหัสสองตัวมีประมาณ 288.1M ทำให้ส่วนประกอบหลักเหล่านี้รวมกันประมาณ 0.66B เมื่อรวมตัวเข้ารหัสภาพและการลบพื้นหลังแล้ว คำขอทั้งหมดมีประมาณ 1.80B พารามิเตอร์ SDK ส่งคืน splat, ภาพอินพุตที่ประมวลผลแล้ว และพารามิเตอร์กล้องที่ทำนายไว้ การปรับปรุงประสิทธิภาพ GPU จะคอมไพล์ตัวลดสัญญาณรบกวนและทำ batch ของพาสแบบมีเงื่อนไข/ไม่มีเงื่อนไข โดยมีต้นทุนเริ่มต้นเพิ่มเติมในการสร้างครั้งแรก รายละเอียดส่วนประกอบและการทำงาน

แอปพลิเคชัน ความพร้อมใช้งาน และทิศทางในอนาคต

เอาต์พุตเหมาะสำหรับพรีวิววัตถุที่อาศัย splat, การนำเสนอแบบอินเทอร์แอกทีฟ และการทดลองสร้างภาพเป็น 3D ไฟล์ Gaussian PLY ไม่ใช่เมชรูปหลายเหลี่ยมแบบปิดสนิท วัตถุ CAD หรือคาแรกเตอร์ที่ทำ rig โดยอัตโนมัติ พื้นผิวที่ซ่อนอยู่เป็นสิ่งที่อนุมานขึ้น ไม่ใช่สิ่งที่วัดมา SDK และน้ำหนักโมเดลเผยแพร่ภายใต้การระบุใบอนุญาต Apache-2.0 ขณะที่ส่วนประกอบตัวเข้ารหัส DINOv3 และ FLUX.2 ที่จำเป็นต้องขอสิทธิ์เข้าถึงแบบมีเงื่อนไขแยกต่างหาก รวมถึงต้องอยู่ภายใต้ข้อกำหนดที่เกี่ยวข้องของแต่ละส่วน ข้อกำหนดการเผยแพร่และการเข้าถึง

รีวิวนี้ใช้หน้าวิจัยอย่างเป็นทางการ โมเดลการ์ด และ SDK commit 4702a7f ซึ่งตรวจสอบเมื่อวันที่ 6 พฤศจิกายน 2026 ไม่พบเอกสารทางเทคนิคแบบแยกต่างหากหรือแผนงานในอนาคตที่ระบุเฉพาะ Idol อย่างชัดเจนในเอกสารเหล่านั้น รีโพซิทอรีที่ตรวจสอบมีการอนุมานและเดโม ดังนั้นรายละเอียดภายในจึงไม่สามารถยืนยันสูตรการฝึกที่ไม่ได้เปิดเผยได้ ไม่มีการรันการอนุมานของโมเดลหรือเบนช์มาร์กซ้ำสำหรับบทความนี้