Frontier3DBench: ऑब्जेक्ट्स, दृश्यों & खुले संसारों में 3D निर्माण के लिए कोडिंग एजेंटों का बेंचमार्क

मूल शोधपत्र: Frontier3DBench: Objects, Scenes, और Interactive Open Worlds में Coding Agents के लिए Benchmarking (6 नवंबर, 2026; v1)।

मुख्य बिंदु और परिणाम

Frontier3DBench यह जांचता है कि क्या coding agents objects, scenes और interactive worlds के लिए संपादन योग्य, निष्पादन योग्य 3D projects तैयार कर सकते हैं। AI authoring workflow चुनने वाली teams के लिए इसका योगदान एक सामान्य evaluation framework है: नौ families में 145 tasks, जिनमें 65 Blender object tasks, 65 Blender scene tasks और 15 Unreal Engine world tasks शामिल हैं। Inputs में instructions, reference images, photographs और existing scenes शामिल हैं।

Authors 11 model–harness configurations का मूल्यांकन करते हैं। Codex के साथ GPT-6.1-sol का overall score 66.02/100 के साथ सबसे अधिक है; Codex के साथ GPT-6-astra interactive worlds में 61.28 के साथ सबसे आगे है। हर configuration text-driven object और scene generation की तुलना में reference reconstruction पर खराब प्रदर्शन करती है। 165 world submissions में local mechanisms का औसत 83.08, moving-part clearance का 20.82 और stateful workflows का 30.26 है। ये component scores हैं, सफलतापूर्वक पूरे किए गए worlds के प्रतिशत नहीं।

एक human study सीमित calibration प्रदान करती है: आठ raters 45 reference-conditioned object/scene items में से प्रत्येक पर चार candidates को rank करते हैं। Automatic scores का mean Kendall tau-b 0.727 और winner पर 79.2% agreement प्राप्त होता है, लेकिन complete ranking पर agreement केवल 44.7% है। यह हर task family या world behavior को validate नहीं करता। experiments देखें।

Evaluation कैसे काम करता है

Agent को एक task contract प्राप्त होता है: आवश्यक geometry और appearance, लागू होने पर reference images, और editing के लिए initial assets। World tasks entities, starting states, allowed operations और prerequisites भी परिभाषित करते हैं। Agent construction code लिखता और निष्पादित करता है, फिर आवश्यक exports के साथ native Blender या Unreal project submit करता है। Evaluation files उसके workspace के बाहर रहती हैं।

Released orchestrator में public execution checks repairs trigger कर सकते हैं, लेकिन agent को private scores के बजाय errors प्राप्त होते हैं। Evaluation से पहले accepted source को freeze और hash किया जाता है। अलग-अलग evaluators program को फिर से चलाते हैं, native geometry का निरीक्षण करते हैं, views render करते हैं और task fulfillment का निर्णय लेते हैं। Paper में Blender 5.2.1 और Unreal Engine 5.8.3 का उपयोग किया गया है; L1/L2 generation को 32 घंटों के भीतर अधिकतम छह attempts की अनुमति है। ये budget ceilings हैं, मापे गए completion times नहीं।

Task के अनुसार scoring बदलती है। Reference reconstruction में 50% image similarity, 20% projected object localization, 20% visual judgment और 10% detail शामिल हैं। Image similarity structure, edges, color और tone को मापती है; localization object boxes का मिलान करती है और missing या extra instances पर दंड देती है। Medium effort पर GPT-6-astra generator identity छिपाकर fixed visual criteria का निर्णय करता है। Detail checks coverage को one minus deviation से गुणा करके weakest required execution/export variant लेते हैं। सामान्य L1 tasks native और GLB form में चार executions का निरीक्षण करते हैं; L2 चार native variants का उपयोग करता है।

Scene editing में requested modification और protected surroundings के preservation को अलग-अलग मापा जाता है। World evaluation submitted project को एक independent observer के साथ फिर से बनाती है और visible action effects, moving parts के intersections, actual character movement और persistent state का परीक्षण करती है। Continuous workflows में teleportation और resets निषिद्ध हैं। इसलिए केवल isolation में door opening, ऐसे route को पूरा करने का विकल्प नहीं हो सकती जिसमें उस तक पहुंचना, उसे unlock करना और उसमें से गुजरना आवश्यक हो।

World scores visual quality, task fidelity, layout और interaction को 60/20/5/15 के भार देती हैं। Final benchmark total में L1/L2/L3 का भार 30/30/40 है। Scoring contract confirmed candidate defects और missing technical evidence के बीच अंतर करता है: API या measurement failure को चुपचाप zero में नहीं बदलना चाहिए।

Applications और Open Challenges

Benchmark coding-agent workflows चुनने और यह निदान करने में सहायता करता है कि failures appearance, geometry, editing या behavior से संबंधित हैं। इसका open repository task inputs, generation/evaluation code और scoring contracts शामिल करता है; benchmark software Apache-2.0 का उपयोग करता है, जबकि task assets अपने-अपने licenses बनाए रखते हैं। Blender, Unreal Engine और model access के लिए अलग setup आवश्यक है।

Paper दो केंद्रीय open challenges बताता है: निर्दिष्ट geometry और layouts का मिलान करना, तथा moving parts, actions और persistent state का coordination करना। ये authors की research directions हैं, घोषित product features नहीं। Comparisons complete model–harness setups का वर्णन करती हैं और visual judging में calibration limits बनी रहती हैं; photographic tasks में भी universal native 3D ground truth नहीं है। यह review paper और implementation को पढ़ता है, लेकिन benchmark को फिर से नहीं चलाता।