Frontier3DBench: Avaliação de agentes de programação para criação 3D em objetos, cenas & mundos abertos

Artigo original: Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds (6 de novembro de 2026; v1).

Destaques e resultados

O Frontier3DBench investiga se agentes de codificação conseguem fornecer projetos 3D editáveis e executáveis envolvendo objetos, cenas e mundos interativos. Para equipes que escolhem um fluxo de trabalho de autoria com IA, sua contribuição é uma estrutura de avaliação comum: 145 tarefas em nove famílias, incluindo 65 tarefas de objetos no Blender, 65 tarefas de cenas no Blender e 15 tarefas de mundos na Unreal Engine. As entradas incluem instruções, imagens de referência, fotografias e cenas existentes.

Os autores avaliam 11 configurações de modelo e harness. O GPT-6.1-sol com Codex lidera no geral, com 66,02/100; o GPT-6-astra com Codex lidera em mundos interativos, com 61,28. Todas as configurações têm desempenho pior na reconstrução a partir de referências do que na geração de objetos e cenas orientada por texto. Entre 165 submissões de mundos, os mecanismos locais obtêm média de 83,08, a folga de peças móveis, 20,82, e os fluxos de trabalho com estado, 30,26. Essas são pontuações de componentes, não porcentagens de mundos concluídos com sucesso.

Um estudo com humanos fornece uma calibração limitada: oito avaliadores classificam quatro candidatos em cada um dos 45 itens de objetos/cenas condicionados por referência. As pontuações automáticas alcançam tau-b de Kendall médio de 0,727 e 79,2% de concordância quanto ao vencedor, mas apenas 44,7% de concordância quanto à classificação completa. Isso não valida todas as famílias de tarefas nem todos os comportamentos em mundos. Consulte os experimentos.

Como funciona a avaliação

O agente recebe um contrato de tarefa: geometria e aparência necessárias, imagens de referência quando aplicável e recursos iniciais para edição. As tarefas de mundo também definem entidades, estados iniciais, operações permitidas e pré-requisitos. O agente escreve e executa código de construção e, em seguida, envia um projeto nativo do Blender ou da Unreal, além das exportações necessárias. Os arquivos de avaliação permanecem fora de seu espaço de trabalho.

No orquestrador disponibilizado, as verificações públicas de execução podem acionar reparos, mas o agente recebe erros em vez de pontuações privadas. O código-fonte aceito é congelado e recebe um hash antes da avaliação. Avaliadores separados executam novamente o programa, inspecionam a geometria nativa, renderizam visualizações e julgam o cumprimento da tarefa. O artigo usa Blender 5.2.1 e Unreal Engine 5.8.3; a geração L1/L2 permite até seis tentativas em 32 horas. Esses são limites de orçamento, não tempos de conclusão medidos.

A pontuação muda conforme a tarefa. A reconstrução a partir de referências combina 50% de similaridade de imagem, 20% de localização projetada do objeto, 20% de julgamento visual e 10% de detalhes. A similaridade de imagem mede estrutura, bordas, cor e tonalidade; a localização compara as caixas dos objetos e penaliza instâncias ausentes ou extras. O GPT-6-astra, em esforço médio, julga critérios visuais fixos com a identidade do gerador oculta. A verificação de detalhes usa a cobertura multiplicada por um menos o desvio e, em seguida, considera a variante de execução/exportação obrigatória mais fraca. As tarefas L1 comuns inspecionam quatro execuções nos formatos nativo e GLB; L2 usa quatro variantes nativas.

A edição de cenas mede separadamente a modificação solicitada e a preservação dos arredores protegidos. A avaliação de mundos reconstrói o projeto enviado com um observador independente e testa os efeitos visíveis das ações, as interseções entre peças móveis, o movimento real dos personagens e o estado persistente. Fluxos de trabalho contínuos proíbem teletransporte e redefinições. Portanto, a abertura de uma porta isoladamente não pode substituir a conclusão de uma rota que exige alcançá-la, destrancá-la e atravessá-la.

As pontuações de mundo ponderam qualidade visual, fidelidade à tarefa, layout e interação em 60/20/5/15. O total final do benchmark pondera L1/L2/L3 em 30/30/40. O contrato de pontuação distingue defeitos confirmados do candidato de evidências técnicas ausentes: uma falha de API ou medição não deve se tornar silenciosamente zero.

Aplicações e desafios em aberto

O benchmark ajuda a selecionar fluxos de trabalho com agentes de codificação e a diagnosticar se as falhas dizem respeito à aparência, geometria, edição ou comportamento. Seu repositório aberto inclui entradas de tarefas, código de geração/avaliação e contratos de pontuação; o software do benchmark usa Apache-2.0, enquanto os recursos das tarefas mantêm suas próprias licenças. Blender, Unreal Engine e acesso aos modelos exigem configurações separadas.

O artigo identifica dois desafios centrais em aberto: corresponder à geometria e aos layouts especificados, e coordenar peças móveis, ações e estado persistente. Essas são direções de pesquisa dos autores, não recursos de produto anunciados. As comparações descrevem configurações completas de modelo e harness, e o julgamento visual mantém limitações de calibração; as tarefas fotográficas também não têm uma verdade fundamental 3D nativa universal. Esta análise lê o artigo e a implementação, mas não executa novamente o benchmark.