Three-Live: 3D ที่เขียนโดย AI บนเว็บและมือถือ

ไฮไลต์และหลักฐานปัจจุบัน

Three-Live ช่วยให้นักพัฒนาเปลี่ยนโค้ดฉาก Three.js ที่เขียนโดย AI ให้เป็นเนื้อหา 3D ที่แสดงผลบนเว็บและในแอปพลิเคชันมือถือแบบเนทีฟได้ แนวคิดหลักคือการใช้ชุดย่อยของ Three.js ที่รองรับเป็นคำอธิบายฉากแบบพกพา จากนั้นคอมไพล์ฉากที่ได้เป็น GLB หรือ USDZ โดยมีคอมไพเลอร์ ตัวเรนเดอร์ และการผสานการทำงานต่าง ๆ ส่วนโมเดลภายนอกสามารถเขียนโค้ดได้

แหล่งที่มาของภาพ Studio สถาปัตยกรรม และภาพ XR: Google Open Source Blog

รีโพซิทอรีอยู่ภายใต้องค์กรของ Google แต่ระบุอย่างชัดเจนว่าไม่ใช่ผลิตภัณฑ์ของ Google ที่ได้รับการสนับสนุนอย่างเป็นทางการ README ปัจจุบันระบุว่าโครงการนี้อยู่ในสถานะ Beta ตัวอย่างอย่างเป็นทางการสาธิตเรขาคณิตเชิงกระบวนการ วัสดุ PBR แอนิเมชัน และปฏิสัมพันธ์เชิงพื้นที่บน WebGL2/WebXR, Android Filament และ Jetpack XR รวมถึง Apple RealityKit สิ่งเหล่านี้สาธิตเวิร์กโฟลว์ที่ตั้งใจไว้ ไม่ใช่การรับประกันประสิทธิภาพในทุกอุปกรณ์

บทความเปิดตัวรายงานว่าโดยทั่วไปใช้เวลาคอมไพล์ 2–5 มิลลิวินาที โดยไม่มีโพรโทคอลการทดสอบฮาร์ดแวร์และฉากที่ครบถ้วน ตัวเลขดังกล่าวต้องไม่ตีความว่าเป็นเวลาแฝงทั้งหมดตั้งแต่ภาพไปจนถึง 3D รีโพซิทอรียังมีชุดประเมินผล 100 พรอมต์และชุดทดสอบ smoke 10 สคริปต์ ซึ่งครอบคลุมการคอมไพล์ การวินิจฉัยฟีเจอร์ที่ไม่รองรับ การเรนเดอร์ การจำลอง และการซ่อมแซมในหนึ่งรอบ การมีชุดเหล่านี้เพียงอย่างเดียวไม่ใช่หลักฐานว่าสคริปต์ที่สร้างขึ้นทุกสคริปต์ทำงานได้

จากโค้ดสู่ฉากเนทีฟ

ผู้เขียนหรือโมเดลเขียนโค้ดจะสร้างเมช วัสดุ การแปลง และกลุ่มผ่าน API ที่รองรับ โฮสต์จะเรียกใช้สคริปต์ในสภาพแวดล้อมที่มีข้อจำกัด บนแพลตฟอร์มเนทีฟ ThreeEngine ฝังเอนจิน JavaScript Boa ใน Rust รีเซ็ตสถานะของฉากและโกลบอล เรียกใช้สคริปต์ และแยก SceneGraph ที่มีชนิดข้อมูลออกจากบัฟเฟอร์ดิบ จุดเริ่มต้น GLB ส่งกราฟดังกล่าวไปยัง write_glb ส่วนเส้นทางแยกต่างหากจะสร้าง USDZ ตัวแทนระหว่างทางคือกราฟฉากที่ระบุไว้อย่างชัดเจน ไม่ใช่ latent 3D ที่เรียนรู้มา

ข้อจำกัดในการเรียกใช้มีความสำคัญ เนื่องจากโค้ดที่สร้างขึ้นอาจมีลูปที่ทำงานไม่สิ้นสุดหรือเรขาคณิตจำนวนมากเกินไป ในซอร์สที่ตรวจสอบ การเรียกใช้สคริปต์ในสภาพแวดล้อมจริงจำกัดไว้ที่ 500 มิลลิวินาที โดยตรวจสอบนาฬิกาทุก 10,000 VM opcode ขีดจำกัดของฉากประกอบด้วยจุดยอด 100,000 จุดและเมช 1,000 รายการ มีกำหนดเวลาสำหรับการแพ็กเกจที่แยกต่างหากเพื่อใช้กับการแปลงรหัส ข้อจำกัดเหล่านี้เป็นมาตรการป้องกันที่กำหนดโดยการใช้งานจริง ไม่ใช่การวัดความเร็วในการเรนเดอร์หรือการอ้างว่ามีการแยกที่สมบูรณ์แบบ เส้นทางเว็บใช้ worker พร้อม iframe ที่มี opaque origin เป็นตัวเลือก โดยจำกัดการเข้าถึงเครือข่ายและพื้นที่จัดเก็บ

หลังการคอมไพล์ อะแดปเตอร์ของแพลตฟอร์มจะโหลดแอสเซตเข้าสู่ตัวเรนเดอร์เป้าหมาย Android ใช้ Filament และการผสานการทำงาน XR ส่วนแพลตฟอร์มของ Apple ใช้ RealityKit เบราว์เซอร์มีตัวเรนเดอร์ WebGL2 และการรองรับ WebXR ของตัวเอง แอตทริบิวต์ userData.xr แบบประกาศอธิบายพฤติกรรมที่รองรับ เช่น การคว้า หรือการยึดตำแหน่งเชิงพื้นที่ พฤติกรรมขณะรันไทม์แบบสดต้องอาศัยการผสานการทำงานขณะรันไทม์ที่สอดคล้องกัน การพรีวิวโมเดลของระบบปฏิบัติการแบบคงที่ไม่สามารถรักษาปฏิสัมพันธ์ JavaScript ที่กำหนดเองได้

เวิร์กโฟลว์ของเอเจนต์เพิ่มลูปการตรวจสอบเข้ามา CLI สามารถตรวจสอบสคริปต์ เรนเดอร์ contact sheet แบบสี่มุมมอง และแปลงแอสเซตได้ ส่วนอินเทอร์เฟซ MCP จะเปิดเผยการดำเนินการเหล่านี้ให้เอเจนต์เขียนโค้ดใช้ ชุดเครื่องมือประเมินผลสามารถส่งคืนการวินิจฉัยจากคอมไพเลอร์และคำวิจารณ์ด้านภาพสำหรับการซ่อมแซมหนึ่งรอบ ซึ่งเชื่อมโยงการสร้างโค้ดเข้ากับเรขาคณิตและการจัดเฟรมที่สังเกตได้ ขณะที่ฟีเจอร์ API ที่ไม่รองรับหรือทำงานลดระดับลงยังคงเป็นสิ่งที่ต้องตรวจสอบ ไม่ใช่สิ่งที่ควรคาดเดาว่าจะไม่มีปัญหา

การใช้งานและสถานะการพัฒนา

Three-Live เหมาะกับโปรแกรมดูผลิตภัณฑ์เชิงกระบวนการ ฉากการศึกษาที่แก้ไขได้ ต้นแบบ AR และการสร้างสรรค์ 3D ด้วยความช่วยเหลือของ AI ภายในแอปพลิเคชัน สามารถลดงานสร้างฉากเฉพาะแพลตฟอร์มได้ แต่ไม่ได้รับประกันความเข้ากันได้อย่างสมบูรณ์กับแอปพลิเคชัน Three.js ที่กำหนดเอง แพ็กเกจและตัวเลือกไบนารีประกอบด้วย npm เครื่องมือ Rust ไลบรารี Android และ Apple Swift Package Manager รีโพซิทอรีนี้ใช้ Apache-2.0

บันทึกการเปลี่ยนแปลงที่ยังไม่เผยแพร่อย่างเป็นทางการ เป็นพื้นฐานของทิศทางการพัฒนาในที่นี้ โดยระบุการสร้างฉากจากภาพขณะรันไทม์ พร้อมการตรวจสอบคุณภาพเชิงพื้นที่และการซ่อมแซมหนึ่งรอบ รวมถึงการเร่งความเร็วฉาก WebGPU และ Gaussian-splat ที่เป็นตัวเลือก สิ่งเหล่านี้เป็นรายการที่นำไปใช้งานแล้วในสาขาการพัฒนา ไม่ใช่คำสัญญาว่ารีลีสที่แพ็กเกจทุกชุดจะมีฟีเจอร์เหล่านี้ เส้นทางภาพจะตรวจสอบจำนวนเมชขั้นต่ำ ขอบเขตที่เป็นค่าจำกัด การครอบคลุมของกล้อง และการซ้อนทับที่สำคัญ การตรวจสอบเหล่านี้ไม่ได้พิสูจน์การสร้างใหม่จากภาพอินพุตได้อย่างตรงตามต้นฉบับ

การรีวิวนี้ตรวจสอบจุดเริ่มต้นของคอมไพเลอร์ ข้อจำกัดในการเรียกใช้ ตัวแทนฉาก เอกสารการประเมินผล และบันทึกการเปลี่ยนแปลง แต่ไม่ได้ติดตั้ง SDK หรือวัดประสิทธิภาพบนอุปกรณ์