Three-Live: 웹과 모바일을 아우르는 AI 제작 3D

핵심 내용 및 현재 근거

Three-Live는 개발자가 AI가 작성한 Three.js 씬 코드를 웹과 네이티브 모바일 애플리케이션에서 표시할 수 있는 3D 콘텐츠로 변환할 수 있도록 지원합니다. 핵심 아이디어는 지원되는 Three.js 하위 집합을 이식 가능한 씬 설명으로 사용한 다음, 그 결과 씬을 GLB 또는 USDZ로 컴파일하는 것입니다. 컴파일러, 렌더러 및 통합 기능을 제공하며, 외부 모델이 코드를 작성할 수 있습니다.

Studio, 아키텍처 및 XR 그림의 이미지 출처: Google Open Source Blog.

이 저장소는 Google 조직 아래에 있지만 공식적으로 지원되는 Google 제품이 아니라고 명시적으로 설명합니다. 현재 README에서는 프로젝트를 Beta로 표시합니다. 공식 예제는 WebGL2/WebXR, Android Filament 및 Jetpack XR, Apple RealityKit 전반에서 절차적 지오메트리, PBR 머티리얼, 애니메이션 및 공간 상호작용을 시연합니다. 이는 의도된 워크플로를 보여 주는 것이며 모든 기기에서의 성능을 보장하는 것은 아닙니다.

출시 문서에서는 완전한 하드웨어 및 씬 벤치마크 프로토콜 없이 일반적인 컴파일 시간이 2–5밀리초라고 보고합니다. 이 수치를 이미지에서 3D로 변환하는 전체 지연 시간으로 해석해서는 안 됩니다. 저장소에는 컴파일, 지원되지 않는 기능 진단, 렌더링, 시뮬레이션 및 한 번의 수정 작업을 다루는 100개 프롬프트 평가 모음과 10개 스크립트 스모크 테스트 모음도 포함되어 있습니다. 이러한 모음이 존재한다는 사실만으로 모든 생성 스크립트가 작동한다는 증거가 되지는 않습니다.

코드에서 네이티브 씬으로

작성자 또는 코딩 모델은 지원되는 API를 통해 메시, 머티리얼, 변환 및 그룹을 구성합니다. 호스트는 제한된 환경에서 스크립트를 실행합니다. 네이티브 플랫폼에서 ThreeEngine은 Rust에 Boa JavaScript 엔진을 포함하고, 씬 및 전역 상태를 초기화한 뒤 스크립트를 실행하고 원시 버퍼에서 타입이 지정된 SceneGraph를 추출합니다. GLB 진입점은 해당 그래프를 write_glb로 전달하며, 별도의 경로에서 USDZ를 생성합니다. 중간 표현은 학습된 3D 잠재 표현이 아니라 명시적인 씬 그래프입니다.

생성된 코드에는 무한 실행 루프나 과도한 지오메트리가 포함될 수 있으므로 실행 제한이 중요합니다. 검토한 소스에서는 프로덕션 스크립트 실행이 500밀리초로 제한되며, 10,000개의 VM opcode마다 시간을 확인합니다. 씬 상한에는 정점 100,000개와 메시 1,000개가 포함됩니다. 트랜스코딩에는 별도의 패키징 기한이 적용됩니다. 이는 구현에서 정의한 보호 한도이며, 렌더링 속도 측정이나 완벽한 격리를 주장하는 것이 아닙니다. 웹 경로는 워커를 사용하며, 선택적으로 불투명 원본 iframe을 사용할 수 있습니다. 네트워크 및 스토리지 액세스에는 제한이 적용됩니다.

컴파일 후 플랫폼 어댑터가 대상 렌더러에 에셋을 로드합니다. Android는 Filament 및 XR 통합을 사용하고, Apple 플랫폼은 RealityKit을 사용하며, 브라우저에는 자체 WebGL2 렌더러와 WebXR 지원이 있습니다. 선언적 userData.xr 특성은 잡기 또는 공간 앵커링과 같은 지원되는 동작을 설명합니다. 실제 런타임 동작에는 해당 런타임 통합이 필요합니다. 정적인 운영 체제 모델 미리보기에서는 임의의 JavaScript 상호작용이 유지되지 않습니다.

에이전트 워크플로에는 검증 루프가 추가됩니다. CLI는 스크립트를 검증하고, 4개 뷰 연락처 시트를 렌더링하며, 에셋을 변환할 수 있습니다. MCP 인터페이스는 코딩 에이전트에 이러한 작업을 제공합니다. 평가 하네스는 한 번의 수정 작업을 위해 컴파일러 진단과 시각적 평가를 반환할 수 있습니다. 이를 통해 코드 생성이 관찰 가능한 지오메트리 및 구도와 연결되지만, 지원되지 않거나 성능이 저하된 API 기능은 그냥 가정으로 넘길 것이 아니라 점검해야 합니다.

애플리케이션 및 개발 상태

Three-Live는 절차적 제품 뷰어, 편집 가능한 교육용 씬, AR 프로토타입 및 애플리케이션 내부의 AI 지원 3D 저작에 적합합니다. 플랫폼별 씬 저작 작업을 줄일 수 있지만, 임의의 Three.js 애플리케이션과의 완전한 호환성을 약속하지는 않습니다. 패키지 및 바이너리 옵션에는 npm, Rust 도구, Android 라이브러리 및 Apple Swift Package Manager가 포함되며, 저장소는 Apache-2.0을 사용합니다.

공식 Unreleased 변경 로그가 여기서 설명하는 개발 방향의 근거입니다. 이 문서에는 공간 품질 검사와 한 번의 수정 작업을 포함한 런타임 이미지-씬 생성, 그리고 선택적 WebGPU 씬 및 Gaussian-splat 가속이 나열되어 있습니다. 이는 개발 브랜치에 구현된 항목이며, 모든 패키지 릴리스에 포함된다는 약속이 아닙니다. 이미지 경로는 최소 메시 수, 유한한 경계, 카메라 커버리지 및 중요 겹침을 검사하지만, 이러한 검사가 입력 이미지의 충실한 재구성을 입증하지는 않습니다.

이 검토에서는 컴파일러 진입점, 실행 제한, 씬 표현, 평가 문서 및 변경 로그를 확인했습니다. SDK를 설치하거나 기기에서 성능을 측정하지는 않았습니다.