Three-Live: 3D, створене ШІ, для вебу та мобільних пристроїв

Основні моменти та поточні підтвердження

Three-Live допомагає розробникам перетворювати написаний ШІ код сцен Three.js на 3D-контент, який можна відображати у вебі та нативних мобільних застосунках. Його центральна ідея полягає у використанні підтримуваної підмножини Three.js як переносного опису сцени, а потім компіляції отриманої сцени у GLB або USDZ. Він надає компілятор, засоби візуалізації та інтеграції; зовнішня модель може написати код.

Джерело зображень для ілюстрацій Studio, архітектури та XR: Google Open Source Blog.

Репозиторій перебуває в організації Google, але в ньому прямо зазначено, що це не офіційно підтримуваний продукт Google. Поточний README позначає проєкт як Beta. В офіційних прикладах демонструються процедурна геометрія, PBR-матеріали, анімація та просторова взаємодія у WebGL2/WebXR, Android Filament і Jetpack XR, а також Apple RealityKit. Вони демонструють передбачені робочі процеси, а не гарантують продуктивність на будь-якому пристрої.

У статті про запуск указано типовий час компіляції 2–5 мілісекунд, але не наведено повного протоколу тестування апаратного забезпечення та сцен. Цю цифру не слід сприймати як загальну затримку від зображення до 3D. Репозиторій також містить набір оцінювання зі 100 промптів і набір димових тестів із 10 скриптів, що охоплюють компіляцію, діагностику непідтримуваних функцій, рендеринг, симуляцію та одноетапне виправлення; сама їх наявність не доводить, що кожен згенерований скрипт працює.

Від коду до нативної сцени

Автор або модель, що пише код, створює сітки, матеріали, трансформації та групи через підтримуваний API. Хост виконує скрипт в обмеженому середовищі. На нативних платформах ThreeEngine вбудовує рушій JavaScript Boa у Rust, скидає стан сцени та глобальний стан, виконує скрипт і вилучає типізований SceneGraph із необроблених буферів. Точка входу GLB передає цей граф у write_glb; окремі шляхи створюють USDZ. Проміжне представлення є явним графом сцени, а не латентним 3D-представленням, отриманим унаслідок навчання.

Обмеження виконання мають значення, оскільки згенерований код може містити нескінченні цикли або надмірну геометрію. У перевіреному вихідному коді виконання виробничих скриптів обмежене 500 мілісекундами, а час перевіряється кожні 10 000 опкодів віртуальної машини. Обмеження сцени включають 100 000 вершин і 1 000 сіток. Для транскодування застосовується окремий кінцевий термін пакування. Це захисні обмеження, визначені реалізацією, а не вимірювання швидкості рендерингу чи твердження про ідеальну ізоляцію. Вебшлях використовує worker, а також може використовувати iframe з непрозорим походженням; доступ до мережі та сховища обмежений.

Після компіляції адаптери платформи завантажують ресурс у цільовий рушій візуалізації. Android використовує Filament та XR-інтеграції; платформи Apple використовують RealityKit; браузер має власний засіб візуалізації WebGL2 і підтримку WebXR. Декларативні ознаки userData.xr описують підтримувані дії, як-от захоплення або просторове закріплення. Поведінка в реальному часі потребує відповідної інтеграції середовища виконання: статичний попередній перегляд моделі операційною системою не зберігає довільну взаємодію JavaScript.

Робочий процес агента додає цикл перевірки. CLI може перевірити скрипт, створити контактний аркуш із чотирма ракурсами та конвертувати ресурси; його інтерфейс MCP надає ці операції агентам, що пишуть код. Середовище оцінювання може повертати діагностику компілятора та візуальні зауваження для одного циклу виправлення. Це пов’язує генерацію коду зі спостережуваною геометрією та кадруванням, водночас непідтримувані або погіршені функції API залишаються тим, що потрібно перевіряти, а не просто ігнорувати.

Застосування та статус розробки

Three-Live актуальний для процедурних переглядачів продуктів, редагованих освітніх сцен, прототипів AR та створення 3D-контенту за допомогою ШІ всередині застосунків. Він може зменшити обсяг роботи зі створення сцен для конкретних платформ, але не обіцяє повної сумісності з довільними застосунками Three.js. Варіанти пакетів і бінарних файлів включають npm, інструменти Rust, бібліотеки Android і Apple Swift Package Manager; у репозиторії використовується Apache-2.0.

Офіційний журнал змін Unreleased є основою для описаних тут напрямів розробки. У ньому перелічено генерацію сцени із зображення в реальному часі з перевірками просторової якості та одноетапним виправленням, а також додаткове прискорення сцен WebGPU і Gaussian-splat. Це записи, реалізовані у гілці розробки, а не обіцянки, що кожен пакетний випуск їх міститиме. Шлях роботи із зображеннями перевіряє мінімальну кількість сіток, скінченні межі, охоплення камерою та критичні перекриття; ці перевірки не доводять точного відтворення вхідного зображення.

У цьому огляді перевірено точку входу компілятора, обмеження виконання, представлення сцени, документацію оцінювання та журнал змін. SDK не встановлювався, а продуктивність на пристроях не вимірювалася.