Frontier3DBench: Benchmarking av kodningsagenter för 3D-skapande av objekt, scener och öppna världar

Originalartikel: Frontier3DBench: Benchmarking av kodningsagenter för 3D-skapande över objekt, scener och interaktiva öppna världar (6 november 2026; v1).

Höjdpunkter och resultat

Frontier3DBench undersöker om kodningsagenter kan leverera redigerbara, körbara 3D-projekt för objekt, scener och interaktiva världar. För team som väljer ett AI-baserat arbetsflöde för skapande är dess bidrag ett gemensamt utvärderingsramverk: 145 uppgifter fördelade på nio familjer, inklusive 65 Blender-objektuppgifter, 65 Blender-scenuppgifter och 15 uppgifter för världar i Unreal Engine. Indata omfattar instruktioner, referensbilder, fotografier och befintliga scener.

Författarna utvärderar 11 modell–harness-konfigurationer. GPT-6.1-sol med Codex leder totalt med 66.02/100; GPT-6-astra med Codex leder för interaktiva världar med 61.28. Alla konfigurationer presterar sämre på referensrekonstruktion än på textdriven generering av objekt och scener. Bland 165 världsinlämningar är genomsnittet för lokala mekanismer 83.08, frigång för rörliga delar 20.82 och tillståndsbaserade arbetsflöden 30.26. Detta är delpoäng, inte procentandelar av framgångsrikt slutförda världar.

En mänsklig studie ger begränsad kalibrering: åtta bedömare rangordnar fyra kandidater för vart och ett av 45 referensbetingade objekt-/scenelement. Automatiska poäng uppnår ett genomsnittligt Kendall tau-b på 0.727 och 79.2 % överensstämmelse om vinnaren, men endast 44.7 % överensstämmelse om hela rangordningen. Detta validerar inte varje uppgiftsfamilj eller världsbeteende. Se experimenten.

Så fungerar utvärderingen

Agenten får ett uppgiftskontrakt: krav på geometri och utseende, referensbilder när det är tillämpligt samt initiala resurser för redigering. Världsuppgifter definierar dessutom entiteter, starttillstånd, tillåtna operationer och förutsättningar. Agenten skriver och kör konstruktionskod och skickar sedan in ett inbyggt Blender- eller Unreal-projekt samt obligatoriska exporter. Utvärderingsfilerna förblir utanför dess arbetsyta.

I den publicerade orkestratorn kan offentliga körningskontroller utlösa reparationer, men agenten får felmeddelanden i stället för privata poäng. Godkänd källkod fryses och hashas före utvärderingen. Separata utvärderare kör programmet igen, granskar inbyggd geometri, renderar vyer och bedömer om uppgiften har uppfyllts. Artikeln använder Blender 5.2.1 och Unreal Engine 5.8.3; L1/L2-generering tillåter upp till sex försök inom 32 timmar. Detta är budgettak, inte uppmätta slutförandetider.

Poängsättningen varierar med uppgiften. Referensrekonstruktion kombinerar 50 % bildlikhet, 20 % projicerad objektlokalisering, 20 % visuell bedömning och 10 % detaljrikedom. Bildlikhet mäter struktur, kanter, färg och ton; lokalisering matchar objektrutor och ger avdrag för saknade eller extra instanser. GPT-6-astra med medelhög insats bedömer fasta visuella kriterier medan generatorns identitet är dold. Detaljkontroller använder täckning multiplicerad med ett minus avvikelsen och tar sedan den svagaste obligatoriska körnings-/exportvarianten. Vanliga L1-uppgifter granskar fyra körningar i inbyggt format och GLB-format; L2 använder fyra inbyggda varianter.

Scenredigering mäter separat den begärda ändringen och bevarandet av skyddade omgivningar. Världsutvärderingen bygger om det inskickade projektet med en oberoende observatör och testar synliga aktivitetseffekter, kollisioner mellan rörliga delar, faktisk karaktärsrörelse och beständigt tillstånd. Kontinuerliga arbetsflöden förbjuder teleportering och återställningar. Att öppna en dörr isolerat kan därför inte ersätta att slutföra en rutt som kräver att man når fram till, låser upp och passerar genom den.

Världspoängen viktar visuell kvalitet, uppgiftsföljsamhet, layout och interaktion med 60/20/5/15. Den slutliga benchmark-totalen viktar L1/L2/L3 med 30/30/40. Poängsättningskontraktet skiljer bekräftade fel hos kandidater från saknade tekniska bevis: ett API- eller mätfel får inte i tysthet bli noll.

Tillämpningar och öppna utmaningar

Benchmarken stöder val av arbetsflöden för kodningsagenter och diagnostisering av om fel gäller utseende, geometri, redigering eller beteende. Dess öppna arkiv innehåller uppgiftsindata, kod för generering och utvärdering samt poängsättningskontrakt; benchmarkprogramvaran använder Apache-2.0, medan uppgiftstillgångarna behåller sina egna licenser. Blender, Unreal Engine och modellåtkomst kräver separat konfigurering.

Artikeln identifierar två centrala öppna utmaningar: att matcha specificerad geometri och layout samt att samordna rörliga delar, handlingar och beständigt tillstånd. Detta är författarnas forskningsinriktningar, inte utannonserade produktfunktioner. Jämförelser beskriver kompletta modell–harness-konfigurationer, och visuell bedömning har fortfarande kalibreringsbegränsningar; fotografiska uppgifter saknar dessutom universell inbyggd 3D-markdata. Denna granskning läser artikeln och implementationen men kör inte om benchmarken.