Three-Live: 3D được AI viết trên Web và di động

Điểm nổi bật và Bằng chứng hiện tại

Three-Live giúp các nhà phát triển biến mã cảnh Three.js do AI viết thành nội dung 3D có thể hiển thị trên web và trong các ứng dụng di động gốc. Ý tưởng cốt lõi của nó là sử dụng một tập con được hỗ trợ của Three.js làm mô tả cảnh có tính di động, sau đó biên dịch cảnh thu được thành GLB hoặc USDZ. Nó cung cấp trình biên dịch, các trình kết xuất và những tích hợp; một mô hình bên ngoài có thể viết mã.

Nguồn hình ảnh cho các hình Studio, kiến trúc và XR: Google Open Source Blog.

Kho mã nằm dưới tổ chức của Google nhưng nêu rõ rằng đây không phải là sản phẩm được Google hỗ trợ chính thức. README hiện tại của dự án gắn nhãn dự án là Beta. Các ví dụ chính thức minh họa hình học thủ tục, vật liệu PBR, hoạt ảnh và tương tác không gian trên WebGL2/WebXR, Android Filament và Jetpack XR, cũng như Apple RealityKit. Những ví dụ này thể hiện các quy trình làm việc dự kiến, chứ không phải bảo đảm hiệu năng trên mọi thiết bị.

Bài viết ra mắt báo cáo thời gian biên dịch điển hình là 2–5 mili giây mà không có quy trình đo điểm chuẩn hoàn chỉnh cho phần cứng và cảnh. Không được hiểu con số đó là tổng độ trễ từ hình ảnh đến 3D. Kho mã cũng bao gồm một bộ đánh giá 100 prompt và một bộ kiểm tra khói gồm 10 tập lệnh, bao quát việc biên dịch, chẩn đoán tính năng không được hỗ trợ, kết xuất, mô phỏng và sửa trong một lượt; chỉ riêng sự hiện diện của chúng không phải là bằng chứng rằng mọi tập lệnh được tạo đều hoạt động.

Từ Mã đến Cảnh Gốc

Tác giả hoặc mô hình lập trình xây dựng các lưới, vật liệu, phép biến đổi và nhóm thông qua API được hỗ trợ. Máy chủ thực thi tập lệnh trong một môi trường bị giới hạn. Trên các nền tảng gốc, ThreeEngine nhúng công cụ JavaScript Boa trong Rust, đặt lại trạng thái cảnh/toàn cục, thực thi tập lệnh và trích xuất một SceneGraph có kiểu từ các bộ đệm thô. Điểm vào GLB chuyển đồ thị đó tới write_glb; các đường dẫn riêng biệt tạo ra USDZ. Biểu diễn trung gian là một đồ thị cảnh rõ ràng, không phải một latent 3D được học.

Các giới hạn thực thi rất quan trọng vì mã được tạo có thể chứa vòng lặp chạy vô hạn hoặc hình học quá mức. Trong mã nguồn được xem xét, việc thực thi tập lệnh trong môi trường production bị giới hạn ở 500 mili giây, với đồng hồ được kiểm tra sau mỗi 10.000 opcode VM. Các giới hạn của cảnh bao gồm 100.000 đỉnh và 1.000 lưới. Một thời hạn đóng gói riêng được áp dụng cho việc chuyển mã. Đây là các giới hạn bảo vệ do triển khai xác định, không phải phép đo tốc độ kết xuất hay tuyên bố về khả năng cách ly hoàn hảo. Đường dẫn web sử dụng worker, với iframe có origin mờ tùy chọn; quyền truy cập mạng và bộ nhớ được giới hạn.

Sau khi biên dịch, các bộ điều hợp nền tảng tải tài sản vào trình kết xuất mục tiêu. Android sử dụng Filament và các tích hợp XR; các nền tảng Apple sử dụng RealityKit; trình duyệt có trình kết xuất WebGL2 riêng và hỗ trợ WebXR. Các thuộc tính userData.xr khai báo mô tả những hành vi được hỗ trợ như nắm bắt hoặc neo không gian. Hành vi thời gian chạy trực tiếp yêu cầu tích hợp thời gian chạy tương ứng: bản xem trước mô hình tĩnh của hệ điều hành không giữ lại tương tác JavaScript tùy ý.

Quy trình làm việc của tác nhân bổ sung một vòng lặp xác minh. CLI có thể xác thực một tập lệnh, kết xuất một bảng liên hệ bốn chế độ xem và chuyển đổi tài sản; giao diện MCP của nó cung cấp các thao tác này cho các tác nhân lập trình. Bộ khung đánh giá có thể trả về chẩn đoán trình biên dịch và phê bình hình ảnh cho một lượt sửa. Điều này kết nối việc tạo mã với hình học và khung hình có thể quan sát, trong khi các tính năng API không được hỗ trợ hoặc bị suy giảm vẫn là những điều cần kiểm tra thay vì mặc định bỏ qua.

Ứng dụng và Tình trạng Phát triển

Three-Live phù hợp với các trình xem sản phẩm thủ tục, cảnh giáo dục có thể chỉnh sửa, nguyên mẫu AR và hoạt động tạo nội dung 3D có AI hỗ trợ bên trong ứng dụng. Nó có thể giảm công việc tạo cảnh đặc thù theo nền tảng, nhưng không hứa hẹn khả năng tương thích đầy đủ với các ứng dụng Three.js tùy ý. Các tùy chọn gói và nhị phân bao gồm npm, công cụ Rust, thư viện Android và Apple Swift Package Manager; kho mã sử dụng Apache-2.0.

Changelog chưa phát hành chính thức là cơ sở cho các định hướng phát triển ở đây. Changelog liệt kê tính năng tạo cảnh từ hình ảnh theo thời gian chạy với các kiểm tra chất lượng không gian và sửa trong một lượt, cùng với khả năng tăng tốc cảnh WebGPU và Gaussian-splat tùy chọn. Đây là các mục đã được triển khai trên nhánh phát triển, không phải lời hứa rằng mọi bản phát hành đóng gói đều bao gồm chúng. Đường dẫn hình ảnh kiểm tra số lượng lưới tối thiểu, giới hạn hữu hạn, độ bao phủ của camera và các phần chồng lấn quan trọng; những kiểm tra đó không chứng minh việc tái tạo trung thực hình ảnh đầu vào.

Bài đánh giá này đã kiểm tra điểm vào trình biên dịch, các giới hạn thực thi, biểu diễn cảnh, tài liệu đánh giá và changelog. Bài đánh giá không cài đặt SDK hoặc đo hiệu năng trên thiết bị.