Frontier3DBench: Nesneler, Sahneler ve Açık Dünyalar Genelinde 3B Oluşturma için Kodlama Ajanlarını Değerlendirme

Özgün makale: Frontier3DBench: Nesneler, Sahneler ve Etkileşimli Açık Dünyalarda 3D Oluşturma için Kodlama Ajanlarını Karşılaştırma (6 Kasım 2026; v1).

Öne Çıkanlar ve Sonuçlar

Frontier3DBench, kodlama ajanlarının nesneler, sahneler ve etkileşimli dünyalar genelinde düzenlenebilir, çalıştırılabilir 3D projeler sunup sunamayacağını sorgular. Yapay zekâ destekli içerik oluşturma iş akışı seçen ekipler için katkısı, ortak bir değerlendirme çerçevesi sunmasıdır: dokuz aileye yayılan 145 görev; bunların içinde 65 Blender nesne görevi, 65 Blender sahne görevi ve 15 Unreal Engine dünya görevi bulunur. Girdiler arasında talimatlar, referans görselleri, fotoğraflar ve mevcut sahneler yer alır.

Yazarlar 11 model–harness yapılandırmasını değerlendirir. Codex ile GPT-6.1-sol genel olarak 66.02/100 ile öne çıkarken, Codex ile GPT-6-astra etkileşimli dünyalarda 61.28 ile liderdir. Her yapılandırma, referans yeniden oluşturma görevlerinde metin güdümlü nesne ve sahne oluşturmaya kıyasla daha kötü performans gösterir. 165 dünya gönderimi genelinde yerel mekanizmaların ortalaması 83.08, hareketli parça açıklığı 20.82 ve durum bilgili iş akışları 30.26'dır. Bunlar bileşen puanlarıdır; başarıyla tamamlanan dünyaların yüzdeleri değildir.

Bir insan çalışması sınırlı bir kalibrasyon sağlar: sekiz değerlendirici, 45 referans koşullu nesne/sahne öğesinin her birinde dört adayı sıralar. Otomatik puanlar, ortalama 0.727 Kendall tau-b ve kazanan konusunda %79.2 uyum elde eder; ancak tam sıralama konusunda uyum yalnızca %44.7'dir. Bu durum her görev ailesini veya dünya davranışını doğrulamaz. Deneylere bakın.

Değerlendirme Nasıl Çalışır

Ajan bir görev sözleşmesi alır: gerekli geometri ve görünüm, uygun olduğunda referans görselleri ve düzenleme için başlangıç varlıkları. Dünya görevleri ayrıca varlıkları, başlangıç durumlarını, izin verilen işlemleri ve ön koşulları tanımlar. Ajan oluşturma kodunu yazar ve çalıştırır, ardından gerekli dışa aktarımlarla birlikte yerel bir Blender veya Unreal projesi gönderir. Değerlendirme dosyaları çalışma alanının dışında tutulur.

Yayınlanan orkestratörde herkese açık yürütme kontrolleri onarımları tetikleyebilir; ancak ajan özel puanlar yerine hataları alır. Kabul edilen kaynak, değerlendirmeden önce dondurulur ve özetlenir. Ayrı değerlendiriciler programı yeniden çalıştırır, yerel geometriyi inceler, görünümler oluşturur ve görevin yerine getirilmesini değerlendirir. Makale Blender 5.2.1 ve Unreal Engine 5.8.3 kullanır; L1/L2 oluşturma, 32 saat içinde en fazla altı denemeye izin verir. Bunlar bütçe üst sınırlarıdır, ölçülmüş tamamlanma süreleri değildir.

Puanlama göreve göre değişir. Referans yeniden oluşturma; %50 görsel benzerlik, %20 yansıtılan nesne konumlandırması, %20 görsel değerlendirme ve %10 ayrıntıdan oluşur. Görsel benzerlik yapıyı, kenarları, rengi ve tonu ölçer; konumlandırma nesne kutularını eşleştirir ve eksik veya fazla örnekleri cezalandırır. Orta çaba düzeyindeki GPT-6-astra, oluşturucu kimliği gizlenmiş şekilde sabit görsel ölçütleri değerlendirir. Ayrıntı kontrollerinde kapsam, bir eksi sapma ile çarpılır; ardından gerekli yürütme/dışa aktarma varyantları içindeki en zayıf sonuç alınır. Sıradan L1 görevleri yerel ve GLB biçimlerinde dört yürütmeyi inceler; L2 ise dört yerel varyant kullanır.

Sahne düzenleme, istenen değişikliği ve korunan çevrenin muhafazasını ayrı ayrı ölçer. Dünya değerlendirmesi, gönderilen projeyi bağımsız bir gözlemciyle yeniden oluşturur ve görünür eylem etkilerini, hareketli parçaların kesişimlerini, karakterin fiilî hareketini ve kalıcı durumu test eder. Sürekli iş akışları ışınlanmayı ve sıfırlamaları yasaklar. Bu nedenle tek başına bir kapının açılması, ona ulaşmayı, kilidini açmayı ve içinden geçmeyi gerektiren bir rotanın tamamlanmasının yerini tutamaz.

Dünya puanları görsel kaliteyi, göreve uygunluğu, yerleşimi ve etkileşimi 60/20/5/15 oranlarında ağırlıklandırır. Nihai benchmark toplamı L1/L2/L3'ü 30/30/40 oranlarında ağırlıklandırır. Puanlama sözleşmesi, doğrulanmış aday kusurlarını eksik teknik kanıtlardan ayırır: bir API veya ölçüm hatası sessizce sıfıra dönüşmemelidir.

Uygulamalar ve Açık Sorular

Benchmark, kodlama ajanı iş akışlarının seçilmesini ve başarısızlıkların görünüm, geometri, düzenleme veya davranışla ilgili olup olmadığının teşhis edilmesini destekler. Açık deposunda görev girdileri, oluşturma/değerlendirme kodu ve puanlama sözleşmeleri bulunur; benchmark yazılımı Apache-2.0 kullanırken görev varlıkları kendi lisanslarını korur. Blender, Unreal Engine ve model erişimi ayrı kurulum gerektirir.

Makale iki temel açık sorunu tanımlar: belirtilen geometri ve yerleşimlerle eşleşmek ve hareketli parçaları, eylemleri ve kalıcı durumu koordine etmek. Bunlar yazarların araştırma yönleridir, duyurulmuş ürün özellikleri değildir. Karşılaştırmalar eksiksiz model–harness kurulumlarını açıklar ve görsel değerlendirme kalibrasyon sınırlamalarını korur; fotoğraf görevlerinde ayrıca evrensel yerel 3D temel gerçek bulunmaz. Bu inceleme makaleyi ve uygulamayı okur, ancak benchmark'ı yeniden çalıştırmaz.