Frontier3DBench：面向对象、场景和开放世界的 3D 创作编码代理基准测试

原始论文：Frontier3DBench：跨对象、场景和交互式开放世界对编码代理进行基准测试（2026 年 11 月 6 日；v1）。

亮点与结果

Frontier3DBench 探究编码代理能否在对象、场景和交互式世界中交付可编辑、可执行的 3D 项目。对于选择 AI 创作工作流的团队而言，其贡献在于提供了一个通用评估框架：涵盖九个任务系列的 145 项任务，包括 65 项 Blender 对象任务、65 项 Blender 场景任务和 15 项 Unreal Engine 世界任务。输入包括指令、参考图像、照片和现有场景。

作者评估了 11 种模型—工具链配置。GPT-6.1-sol 搭配 Codex 以 66.02/100 的成绩领先总体表现；GPT-6-astra 搭配 Codex 以 61.28 的成绩领先交互式世界。每种配置在参考重建上的表现都差于文本驱动的对象和场景生成。在 165 个世界提交结果中，本地机制平均得分为 83.08，运动部件间隙为 20.82，有状态工作流为 30.26。这些是组件得分，而不是成功完成世界的百分比。

一项人工研究提供了有限的校准：8 名评分者分别对 45 个受参考条件约束的对象/场景项目中的 4 个候选项进行排名。自动评分的 Kendall tau-b 平均值为 0.727，在最佳候选项上的一致率为 79.2%，但在完整排名上的一致率仅为 44.7%。这并不能验证每个任务系列或世界行为。请参见实验。

评估如何运作

代理会接收一份任务契约：所需的几何形状和外观、适用时的参考图像，以及用于编辑的初始资产。世界任务还会定义实体、起始状态、允许的操作和前置条件。代理编写并执行构建代码，然后提交原生 Blender 或 Unreal 项目以及所需的导出文件。评估文件保留在其工作区之外。

在已发布的编排器中，公开执行检查可以触发修复，但代理收到的是错误而非私有分数。接受的源代码会在评估前被冻结并进行哈希处理。独立评估器会重新运行程序、检查原生几何形状、渲染视图并判断任务完成情况。论文使用 Blender 5.2.1 和 Unreal Engine 5.8.3；L1/L2 生成最多允许在 32 小时内尝试 6 次。这些是预算上限，而不是测得的完成时间。

评分会随任务而变化。参考重建由 50% 的图像相似度、20% 的投影对象定位、20% 的视觉判断和 10% 的细节组成。图像相似度衡量结构、边缘、颜色和色调；定位会匹配对象边界框，并对缺失或多余的实例进行惩罚。GPT-6-astra 以中等工作量在隐藏生成器身份的情况下，根据固定视觉标准进行判断。细节检查使用覆盖率乘以一减偏差，然后取所需执行/导出变体中最弱的一项。普通 L1 任务会以原生格式和 GLB 格式检查 4 次执行结果；L2 使用 4 个原生变体。

场景编辑会分别衡量请求的修改以及受保护周边环境的保留情况。世界评估会使用独立观察器重建提交的项目，并测试可见的动作效果、运动部件之间的交叉、角色的实际移动和持久状态。连续工作流禁止传送和重置。因此，单独打开一扇门不能替代完成一条要求到达、解锁并通过该门的路线。

世界得分按视觉质量、任务保真度、布局和交互以 60/20/5/15 加权。最终基准总分按 L1/L2/L3 以 30/30/40 加权。评分契约区分已确认的候选项缺陷与缺失的技术证据：API 或测量失败不得静默地变为零分。

应用与开放挑战

该基准有助于选择编码代理工作流，并诊断失败涉及外观、几何形状、编辑还是行为。其开放仓库包含任务输入、生成/评估代码和评分契约；基准软件使用 Apache-2.0，而任务资产保留各自的许可证。 Blender、Unreal Engine 和模型访问需要单独设置。

论文指出了两个核心开放挑战：匹配指定的几何形状和布局，以及协调运动部件、动作和持久状态。这些是作者的研究方向，而不是已宣布的产品功能。比较针对的是完整的模型—工具链配置，视觉判断仍存在校准限制；照片任务也缺乏通用的原生 3D 真实标注。这篇评述阅读了论文和实现，但没有重新运行基准。

常见问题

Frontier3DBench 本身是 3D 生成模型吗？

不是。它为构建 Blender 和 Unreal 项目的编码代理提供任务和评估器。它没有引入经过训练的网格生成器或新的 3D 潜在表示。

为什么截图不足以用于提交？

契约要求可编辑的原生工件和可执行行为。评估器会检查几何形状、重新渲染保存的场景并测试交互，因此仅凭外观无法证明正确性。

最高总分能确定某个代理适合所有工作吗？

不能。不同任务系列的领先者不同，而且分数包含工具链和推理配置。选择工作流前，应先比较相关的任务配置文件。