Frontier3DBench: Đánh giá tác nhân lập trình cho việc tạo 3D trên các đối tượng, cảnh & thế giới mở

Bài báo gốc: Frontier3DBench: Đánh giá chuẩn các tác nhân lập trình để tạo 3D trên các đối tượng, cảnh và thế giới tương tác (ngày 6 tháng 11 năm 2026; v1).

Điểm nổi bật và kết quả

Frontier3DBench đặt câu hỏi liệu các tác nhân lập trình có thể tạo ra các dự án 3D có thể chỉnh sửa và thực thi trên các đối tượng, cảnh và thế giới tương tác hay không. Đối với các nhóm đang lựa chọn quy trình sáng tác bằng AI, đóng góp của benchmark này là một khung đánh giá chung: 145 tác vụ thuộc chín nhóm, gồm 65 tác vụ đối tượng trong Blender, 65 tác vụ cảnh trong Blender và 15 tác vụ thế giới trong Unreal Engine. Đầu vào bao gồm chỉ dẫn, hình ảnh tham chiếu, ảnh chụp và các cảnh hiện có.

Các tác giả đánh giá 11 cấu hình mô hình–harness. GPT-6.1-sol với Codex dẫn đầu về tổng thể với 66.02/100; GPT-6-astra với Codex dẫn đầu ở các thế giới tương tác với 61.28. Mọi cấu hình đều hoạt động kém hơn trong việc tái dựng theo tham chiếu so với việc tạo đối tượng và cảnh dựa trên văn bản. Trong 165 bài nộp thế giới, các cơ chế cục bộ đạt trung bình 83.08, độ hở của bộ phận chuyển động 20.82 và quy trình có trạng thái 30.26. Đây là các điểm thành phần, không phải tỷ lệ phần trăm số thế giới hoàn thành thành công.

Một nghiên cứu trên người cung cấp khả năng hiệu chuẩn hạn chế: tám người đánh giá xếp hạng bốn ứng viên cho mỗi trong 45 mục đối tượng/cảnh có điều kiện tham chiếu. Điểm tự động đạt Kendall tau-b trung bình 0.727 và mức đồng thuận 79.2% về ứng viên thắng cuộc, nhưng chỉ đạt 44.7% đồng thuận về toàn bộ thứ hạng. Điều này không xác thực mọi nhóm tác vụ hoặc hành vi thế giới. Xem các thí nghiệm.

Đánh giá hoạt động như thế nào

Tác nhân nhận một hợp đồng tác vụ: hình học và diện mạo bắt buộc, hình ảnh tham chiếu khi áp dụng và tài sản ban đầu để chỉnh sửa. Các tác vụ thế giới bổ sung các thực thể, trạng thái bắt đầu, thao tác được phép và điều kiện tiên quyết. Tác nhân viết và thực thi mã dựng hình, sau đó nộp một dự án Blender hoặc Unreal gốc cùng các tệp xuất bắt buộc. Các tệp đánh giá nằm ngoài không gian làm việc của tác nhân.

Trong bộ điều phối được phát hành, các bước kiểm tra thực thi công khai có thể kích hoạt việc sửa chữa, nhưng tác nhân nhận lỗi thay vì điểm riêng tư. Mã nguồn được chấp nhận sẽ được đóng băng và băm trước khi đánh giá. Các bộ đánh giá riêng biệt chạy lại chương trình, kiểm tra hình học gốc, kết xuất các góc nhìn và đánh giá mức độ hoàn thành tác vụ. Bài báo sử dụng Blender 5.2.1 và Unreal Engine 5.8.3; quá trình tạo L1/L2 cho phép tối đa sáu lần thử trong vòng 32 giờ. Đây là các giới hạn ngân sách, không phải thời gian hoàn thành được đo lường.

Cách tính điểm thay đổi theo tác vụ. Tái dựng theo tham chiếu kết hợp 50% độ tương đồng hình ảnh, 20% định vị đối tượng được chiếu, 20% đánh giá trực quan và 10% chi tiết. Độ tương đồng hình ảnh đo cấu trúc, cạnh, màu sắc và sắc độ; định vị đối sánh các hộp đối tượng và phạt các thực thể bị thiếu hoặc thừa. GPT-6-astra ở mức nỗ lực trung bình đánh giá các tiêu chí trực quan cố định khi ẩn danh tính bộ tạo. Kiểm tra chi tiết sử dụng độ bao phủ nhân với một trừ đi độ lệch, sau đó lấy biến thể thực thi/xuất yếu nhất trong số các biến thể bắt buộc. Các tác vụ L1 thông thường kiểm tra bốn lần thực thi ở dạng gốc và GLB; L2 sử dụng bốn biến thể gốc.

Việc chỉnh sửa cảnh đo riêng biệt phần sửa đổi được yêu cầu và việc bảo toàn môi trường xung quanh được bảo vệ. Đánh giá thế giới dựng lại dự án đã nộp với một bộ quan sát độc lập và kiểm tra hiệu ứng của hành động hiển thị được, giao điểm của các bộ phận chuyển động, chuyển động thực tế của nhân vật và trạng thái liên tục. Các quy trình liên tục cấm dịch chuyển tức thời và đặt lại. Do đó, việc mở một cánh cửa riêng lẻ không thể thay thế cho việc hoàn thành một tuyến đường yêu cầu tiếp cận, mở khóa và đi qua cánh cửa đó.

Điểm thế giới cân theo chất lượng hình ảnh, độ trung thực của tác vụ, bố cục và tương tác ở mức 60/20/5/15. Tổng điểm benchmark cuối cùng cân L1/L2/L3 ở mức 30/30/40. Hợp đồng tính điểm phân biệt các lỗi của ứng viên đã được xác nhận với bằng chứng kỹ thuật còn thiếu: lỗi API hoặc đo lường không được âm thầm trở thành điểm 0.

Ứng dụng và thách thức còn bỏ ngỏ

Benchmark hỗ trợ lựa chọn quy trình tác nhân lập trình và chẩn đoán liệu các lỗi liên quan đến diện mạo, hình học, chỉnh sửa hay hành vi. Kho lưu trữ mở của benchmark bao gồm đầu vào tác vụ, mã tạo/đánh giá và các hợp đồng tính điểm; phần mềm benchmark sử dụng Apache-2.0, trong khi tài sản tác vụ giữ nguyên giấy phép riêng của chúng. Blender, Unreal Engine và quyền truy cập mô hình yêu cầu thiết lập riêng.

Bài báo xác định hai thách thức còn bỏ ngỏ trọng tâm: khớp hình học và bố cục được chỉ định, cũng như phối hợp các bộ phận chuyển động, hành động và trạng thái liên tục. Đó là các hướng nghiên cứu của tác giả, không phải các tính năng sản phẩm đã được công bố. Các so sánh mô tả các thiết lập mô hình–harness hoàn chỉnh, và việc đánh giá trực quan vẫn có những giới hạn hiệu chuẩn; các tác vụ dựa trên ảnh chụp cũng thiếu ground truth 3D gốc phổ quát. Bài đánh giá này đọc bài báo và triển khai, nhưng không chạy lại benchmark.