Three-Live: 3D, написанный ИИ, для веба и мобильных устройств

Основные моменты и текущие подтверждённые данные

Three-Live помогает разработчикам превращать написанный ИИ код сцен Three.js в 3D-контент, который можно отображать в интернете и нативных мобильных приложениях. Основная идея заключается в использовании поддерживаемого подмножества Three.js в качестве переносимого описания сцены с последующей компиляцией полученной сцены в GLB или USDZ. Проект предоставляет компилятор, средства рендеринга и интеграции; внешняя модель может писать код.

Источник изображений Studio, архитектуры и XR: Google Open Source Blog.

Репозиторий находится в организации Google, но в нём явно указано, что это не официальный продукт Google с поддержкой. В текущем README проект обозначен как Beta. Официальные примеры демонстрируют процедурную геометрию, PBR-материалы, анимацию и пространственное взаимодействие в WebGL2/WebXR, Android Filament и Jetpack XR, а также Apple RealityKit. Они демонстрируют предполагаемые сценарии работы, а не гарантируют производительность на любых устройствах.

В статье о запуске указано типичное время компиляции 2–5 миллисекунд, однако полного протокола тестирования оборудования и сцен не приводится. Это значение нельзя интерпретировать как общую задержку преобразования изображения в 3D. В репозитории также есть набор из 100 промптов для оценки и набор из 10 smoke-тестов, охватывающих компиляцию, диагностику неподдерживаемых функций, рендеринг, симуляцию и исправление за один шаг; само их наличие не доказывает, что каждый сгенерированный скрипт работает.

От кода к нативной сцене

Автор или модель, создающая код, формирует меши, материалы, трансформации и группы с помощью поддерживаемого API. Хост выполняет скрипт в ограниченной среде. На нативных платформах ThreeEngine встраивает движок JavaScript Boa в Rust, сбрасывает состояние сцены и глобальное состояние, выполняет скрипт и извлекает типизированный SceneGraph из необработанных буферов. Точка входа GLB передаёт этот граф функции write_glb; отдельные пути создают USDZ. Промежуточное представление — это явный граф сцены, а не скрытое 3D-представление, полученное машинным обучением.

Ограничения выполнения важны, поскольку сгенерированный код может содержать бесконечные циклы или чрезмерно сложную геометрию. В рассмотренном исходном коде выполнение производственных скриптов ограничено 500 миллисекундами, а время проверяется каждые 10 000 опкодов виртуальной машины. Ограничения сцены включают 100 000 вершин и 1 000 мешей. Для транскодирования действует отдельный предельный срок упаковки. Это защитные ограничения, заданные реализацией, а не измерения скорости рендеринга и не заявление о полной изоляции. В веб-версии используется worker с опциональным iframe с непрозрачным источником; доступ к сети и хранилищу ограничен.

После компиляции адаптеры платформы загружают ресурс в целевой рендерер. Android использует Filament и XR-интеграции; платформы Apple используют RealityKit; в браузере есть собственный рендерер WebGL2 и поддержка WebXR. Декларативные свойства userData.xr описывают поддерживаемые действия, такие как захват или пространственная привязка. Для поведения в реальном времени нужна соответствующая интеграция времени выполнения: статический предпросмотр модели операционной системой не сохраняет произвольное взаимодействие JavaScript.

Рабочий процесс с агентом добавляет цикл проверки. CLI может проверить скрипт, отрендерить контактный лист с четырьмя видами и преобразовать ресурсы; его интерфейс MCP предоставляет эти операции агентам, создающим код. Средство оценки может вернуть диагностические сообщения компилятора и визуальные замечания для одного шага исправления. Это связывает генерацию кода с наблюдаемой геометрией и компоновкой, а неподдерживаемые или работающие с ограничениями функции API остаются тем, что необходимо проверять, а не считать решённым заранее.

Применение и статус разработки

Three-Live подходит для процедурных просмотрщиков продуктов, редактируемых образовательных сцен, прототипов AR и создания 3D-контента с помощью ИИ внутри приложений. Он может сократить объём платформенно-зависимой работы по созданию сцен, но не обещает полной совместимости с произвольными приложениями Three.js. Варианты пакетов и бинарных файлов включают npm, инструменты Rust, библиотеки Android и Apple Swift Package Manager; в репозитории используется Apache-2.0.

Основой для описанных здесь направлений разработки служит официальный Unreleased changelog. В нём перечислены генерация сцены из изображения во время выполнения с проверками пространственного качества и исправлением за один шаг, а также опциональное ускорение сцен WebGPU и Gaussian-splat. Это записи о реализованных изменениях в ветке разработки, а не обещания того, что они входят в каждый упакованный выпуск. Для пути изображения проверяются минимальное количество мешей, конечные границы, охват камерой и критические перекрытия; эти проверки не доказывают точное восстановление входного изображения.

В рамках этого обзора были изучены точка входа компилятора, ограничения выполнения, представление сцены, документация по оценке и журнал изменений. SDK не устанавливался, а производительность на устройствах не измерялась.