Three-Live: AI-skrivet 3D för webb och mobil

Höjdpunkter och aktuell evidens

Three-Live hjälper utvecklare att omvandla AI-skriven Three.js-scenkod till 3D-innehåll som kan visas på webben och i inbyggda mobilapplikationer. Grundidén är att använda en stödd delmängd av Three.js som en portabel scenbeskrivning och sedan kompilera den resulterande scenen till GLB eller USDZ. Det tillhandahåller en kompilator, renderare och integrationer; en extern modell kan skriva koden.

Bildkälla för figurerna om Studio, arkitektur och XR: Google Open Source Blog.

Kodförrådet ligger under Googles organisation men anger uttryckligen att det inte är en officiellt stödd Google-produkt. Den aktuella README-filen betecknar projektet som Beta. Officiella exempel visar procedurgeometri, PBR-material, animering och spatial interaktion över WebGL2/WebXR, Android Filament och Jetpack XR samt Apple RealityKit. Dessa visar avsedda arbetsflöden snarare än en prestandagaranti för alla enheter.

Lanseringsartikeln rapporterar typiska kompileringstider på 2–5 millisekunder utan ett fullständigt protokoll för maskinvaru- och scenbenchmarking. Den siffran får inte tolkas som den totala fördröjningen från bild till 3D. Kodförrådet innehåller också en utvärderingssvit med 100 promptar och en smoke-svit med 10 skript som täcker kompilering, diagnostik för funktioner som inte stöds, rendering, simulering och reparation i en omgång; deras blotta förekomst är inte bevis för att varje genererat skript fungerar.

Från kod till en inbyggd scen

En utvecklare eller kodmodell konstruerar mesh-objekt, material, transformeringar och grupper genom det stödda API:et. Värden kör skriptet i en begränsad miljö. På inbyggda plattformar bäddar ThreeEngine in JavaScript-motorn Boa i Rust, återställer scenens och det globala tillståndet, kör skriptet och extraherar en typad SceneGraph från råbuffertar. GLB-ingångspunkten skickar grafen till write_glb; separata sökvägar producerar USDZ. Den mellanliggande representationen är en explicit scenograf, inte en inlärd 3D-latent representation.

Körningsbegränsningar är viktiga eftersom genererad kod kan innehålla oavslutade loopar eller överdrivet mycket geometri. I den granskade källkoden begränsas körning av produktionsskript till 500 millisekunder, och klockan kontrolleras var 10 000:e VM-opkod. Scenbegränsningar omfattar 100 000 vertexar och 1 000 mesh-objekt. En separat paketeringsdeadline gäller för transkodning. Detta är skyddsbegränsningar som definieras av implementationen, inte mätningar av renderingshastighet eller ett påstående om perfekt isolering. Webbvägen använder en worker, med en valfri iframe med ogenomskinligt ursprung; åtkomst till nätverk och lagring är begränsad.

Efter kompileringen läser plattformsadaptrarna in tillgången i målrenderaren. Android använder Filament och XR-integrationer; Apple-plattformar använder RealityKit; webbläsaren har en egen WebGL2-renderare och stöd för WebXR. Deklarativa userData.xr-egenskaper beskriver stödda beteenden som att gripa tag i objekt eller förankra dem spatialt. Livebeteende under körning kräver motsvarande körningsintegration: en statisk förhandsvisning av operativsystemets modell bevarar inte godtycklig JavaScript-interaktion.

Agentarbetsflödet lägger till en verifieringsloop. CLI:t kan validera ett skript, rendera ett kontaktark med fyra vyer och konvertera tillgångar; dess MCP-gränssnitt exponerar dessa åtgärder för kodningsagenter. Utvärderingsramverket kan returnera kompilatordiagnostik och visuella granskningar för en reparationsomgång. Detta kopplar kodgenerering till observerbar geometri och bildkomposition, medan API-funktioner som inte stöds eller är degraderade fortfarande måste granskas i stället för att förutsättas fungera.

Tillämpningar och utvecklingsstatus

Three-Live är relevant för procedurbaserade produktvisare, redigerbara utbildningsscener, AR-prototyper och AI-assisterat 3D-skapande i applikationer. Det kan minska plattformsspecifikt arbete med scenredigering, men lovar inte full kompatibilitet med godtyckliga Three.js-applikationer. Paket- och binäralternativ omfattar npm, Rust-verktyg, Android-bibliotek och Apple Swift Package Manager; kodförrådet använder Apache-2.0.

Den officiella Unreleased-ändringsloggen ligger till grund för utvecklingsriktningarna här. Den listar körningsbaserad bild-till-scen-generering med spatiala kvalitetskontroller och reparation i en omgång, samt valfri WebGPU-scen och acceleration med Gaussian splatting. Detta är implementerade poster från utvecklingsgrenen, inte löften om att varje paketerad version innehåller dem. Bildvägen kontrollerar minsta antal mesh-objekt, ändliga gränser, kameratäckning och kritiska överlappningar; dessa kontroller bevisar inte en trogen rekonstruktion av indata-bilden.

Denna granskning undersökte kompilatorns ingångspunkt, körningsbegränsningar, scenrepresentation, dokumentation om utvärdering och ändringslogg. SDK:t installerades inte och prestanda på enheter mättes inte.