Frontier3DBench: Penanda Aras Ejen Pengekodan untuk Penciptaan 3D Merentas Objek, Adegan & Dunia Terbuka

Kertas asal: Frontier3DBench: Penandaarasan Ejen Pengekodan untuk Penciptaan 3D merentas Objek, Adegan dan Dunia Terbuka Interaktif (6 November 2026; v1).

Sorotan dan Hasil

Frontier3DBench menilai sama ada ejen pengekodan boleh menghasilkan projek 3D yang boleh diedit dan dilaksanakan merentas objek, adegan dan dunia interaktif. Bagi pasukan yang memilih aliran kerja pengarangan AI, sumbangannya ialah rangka kerja penilaian umum: 145 tugasan merentas sembilan keluarga, termasuk 65 tugasan objek Blender, 65 tugasan adegan Blender dan 15 tugasan dunia Unreal Engine. Input termasuk arahan, imej rujukan, foto dan adegan sedia ada.

Penulis menilai 11 konfigurasi model–harness. GPT-6.1-sol dengan Codex mendahului keseluruhan pada 66.02/100; GPT-6-astra dengan Codex mendahului dunia interaktif pada 61.28. Setiap konfigurasi berprestasi lebih teruk dalam pembinaan semula rujukan berbanding penjanaan objek dan adegan dipacu teks. Merentas 165 penyerahan dunia, mekanisme tempatan mencatat purata 83.08, kelegaan bahagian bergerak 20.82 dan aliran kerja berkeadaan 30.26. Ini ialah skor komponen, bukan peratusan dunia yang berjaya disiapkan.

Satu kajian manusia menyediakan penentukuran terhad: lapan penilai menyusun kedudukan empat calon bagi setiap 45 item objek/adegan berkeadaan rujukan. Skor automatik mencapai purata Kendall tau-b sebanyak 0.727 dan persetujuan 79.2% tentang pemenang, tetapi hanya 44.7% persetujuan tentang kedudukan lengkap. Ini tidak mengesahkan setiap keluarga tugasan atau tingkah laku dunia. Lihat eksperimen.

Cara Penilaian Berfungsi

Ejen menerima kontrak tugasan: geometri dan penampilan yang diperlukan, imej rujukan apabila berkenaan dan aset awal untuk penyuntingan. Tugasan dunia turut mentakrifkan entiti, keadaan permulaan, operasi yang dibenarkan dan prasyarat. Ejen menulis dan melaksanakan kod pembinaan, kemudian menyerahkan projek Blender atau Unreal natif berserta eksport yang diperlukan. Fail penilaian kekal di luar ruang kerjanya.

Dalam orchestrator yang dikeluarkan, semakan pelaksanaan awam boleh mencetuskan pembaikan, tetapi ejen menerima ralat dan bukannya skor peribadi. Sumber yang diterima dibekukan dan dicincang sebelum penilaian. Penilai berasingan melaksanakan semula program, memeriksa geometri natif, menghasilkan paparan dan menilai pemenuhan tugasan. Kertas ini menggunakan Blender 5.2.1 dan Unreal Engine 5.8.3; penjanaan L1/L2 membenarkan sehingga enam percubaan dalam tempoh 32 jam. Ini ialah had belanjawan, bukan masa penyiapan yang diukur.

Pemarkahan berubah mengikut tugasan. Pembinaan semula rujukan menggabungkan 50% keserupaan imej, 20% penyetempatan objek terunjur, 20% pertimbangan visual dan 10% perincian. Keserupaan imej mengukur struktur, tepi, warna dan ton; penyetempatan memadankan kotak objek serta mengenakan penalti bagi tika yang hilang atau tambahan. GPT-6-astra pada usaha sederhana menilai kriteria visual tetap dengan identiti penjana disembunyikan. Semakan perincian menggunakan liputan didarab dengan satu tolak sisihan, kemudian mengambil varian pelaksanaan/eksport wajib yang paling lemah. Tugasan L1 biasa memeriksa empat pelaksanaan dalam bentuk natif dan GLB; L2 menggunakan empat varian natif.

Penyuntingan adegan mengukur secara berasingan pengubahsuaian yang diminta dan pemeliharaan persekitaran yang dilindungi. Penilaian dunia membina semula projek yang diserahkan dengan pemerhati bebas dan menguji kesan tindakan yang boleh dilihat, persilangan bahagian bergerak, pergerakan watak sebenar dan keadaan berterusan. Aliran kerja berterusan melarang teleportasi dan tetapan semula. Oleh itu, pembukaan pintu secara berasingan tidak boleh menggantikan penyiapan laluan yang memerlukan tindakan mencapai, membuka kunci dan melaluinya.

Skor dunia memberi wajaran kepada kualiti visual, kesetiaan tugasan, susun atur dan interaksi pada 60/20/5/15. Jumlah akhir penandaarasan memberi wajaran kepada L1/L2/L3 pada 30/30/40. Kontrak pemarkahan membezakan kecacatan calon yang disahkan daripada ketiadaan bukti teknikal: kegagalan API atau pengukuran tidak boleh secara senyap menjadi sifar.

Aplikasi dan Cabaran Terbuka

Penandaarasan ini menyokong pemilihan aliran kerja ejen pengekodan dan diagnosis sama ada kegagalan berkaitan dengan penampilan, geometri, penyuntingan atau tingkah laku. Repositori terbukanya merangkumi input tugasan, kod penjanaan/penilaian dan kontrak pemarkahan; perisian penandaarasan menggunakan Apache-2.0, manakala aset tugasan mengekalkan lesen masing-masing. Blender, Unreal Engine dan akses model memerlukan persediaan berasingan.

Kertas ini mengenal pasti dua cabaran terbuka utama: memadankan geometri dan susun atur yang ditentukan, serta menyelaraskan bahagian bergerak, tindakan dan keadaan berterusan. Itu ialah arah penyelidikan penulis, bukan ciri produk yang diumumkan. Perbandingan menerangkan persediaan model–harness yang lengkap, dan penilaian visual mengekalkan had penentukuran; tugasan fotografi juga tidak mempunyai kebenaran asas 3D natif yang universal. Ulasan ini membaca kertas dan pelaksanaan tetapi tidak menjalankan semula penandaarasan.