Three-Live: 3D tworzone przez AI w internecie i na urządzeniach mobilnych

Najważniejsze informacje i aktualne dowody

Three-Live pomaga deweloperom przekształcać kod scen Three.js napisany przez AI w treści 3D, które można wyświetlać w internecie i natywnych aplikacjach mobilnych. Jego centralną ideą jest wykorzystanie obsługiwanego podzbioru Three.js jako przenośnego opisu sceny, a następnie kompilowanie wynikowej sceny do formatów GLB lub USDZ. Dostarcza kompilator, renderery i integracje; zewnętrzny model może napisać kod.

Źródło obrazów Studio, architektury i ilustracji XR: Google Open Source Blog.

Repozytorium znajduje się w organizacji Google, ale wyraźnie zaznaczono, że nie jest oficjalnie wspieranym produktem Google. Obecny plik README oznacza projekt jako Beta. Oficjalne przykłady prezentują geometrię proceduralną, materiały PBR, animację i interakcję przestrzenną w WebGL2/WebXR, Android Filament i Jetpack XR oraz Apple RealityKit. Pokazują one zamierzone sposoby pracy, a nie gwarancję wydajności na każdym urządzeniu.

W artykule premierowym podano typowy czas kompilacji wynoszący 2–5 milisekund, bez kompletnego protokołu testów sprzętu i scen. Tej wartości nie należy interpretować jako całkowitego opóźnienia od obrazu do 3D. Repozytorium zawiera również zestaw ewaluacyjny obejmujący 100 promptów oraz zestaw testów dymnych obejmujący 10 skryptów, sprawdzających kompilację, diagnostykę nieobsługiwanych funkcji, renderowanie, symulację i jednokrotną naprawę; sama ich obecność nie świadczy o tym, że każdy wygenerowany skrypt działa.

Od kodu do natywnej sceny

Autor lub model kodujący tworzy siatki, materiały, transformacje i grupy za pomocą obsługiwanego API. Host wykonuje skrypt w ograniczonym środowisku. Na platformach natywnych ThreeEngine osadza silnik JavaScript Boa w Rust, resetuje stan sceny i globalny, wykonuje skrypt oraz wyodrębnia typowany SceneGraph z surowych buforów. Punkt wejścia GLB przekazuje ten graf do write_glb; oddzielne ścieżki tworzą USDZ. Reprezentacja pośrednia jest jawnym grafem sceny, a nie wyuczonym latentem 3D.

Limity wykonywania mają znaczenie, ponieważ wygenerowany kod może zawierać nieskończone pętle lub nadmierną liczbę elementów geometrii. W analizowanym kodzie źródłowym wykonywanie skryptów produkcyjnych jest ograniczone do 500 milisekund, a zegar jest sprawdzany co 10 000 kodów operacji maszyny wirtualnej. Limity scen obejmują 100 000 wierzchołków i 1 000 siatek. Transkodowanie podlega osobnemu terminowi pakowania. Są to limity ochronne określone przez implementację, a nie pomiary szybkości renderowania ani deklaracja pełnej izolacji. Ścieżka internetowa korzysta z workera, z opcjonalnym iframe o nieprzezroczystym pochodzeniu; dostęp do sieci i pamięci masowej jest ograniczony.

Po kompilacji adaptery platformy ładują zasób do docelowego renderera. Android korzysta z Filament i integracji XR; platformy Apple korzystają z RealityKit; przeglądarka ma własny renderer WebGL2 i obsługę WebXR. Deklaratywne cechy userData.xr opisują obsługiwane zachowania, takie jak chwytanie lub kotwiczenie przestrzenne. Działanie w czasie rzeczywistym wymaga odpowiedniej integracji runtime: statyczny podgląd modelu systemu operacyjnego nie zachowuje dowolnej interakcji JavaScript.

Proces pracy agenta dodaje pętlę weryfikacyjną. CLI może zweryfikować skrypt, wyrenderować arkusz kontaktowy z czterema widokami i konwertować zasoby; jego interfejs MCP udostępnia te operacje agentom kodującym. Środowisko ewaluacyjne może zwracać diagnostykę kompilatora i oceny wizualne na potrzeby jednej tury naprawy. Łączy to generowanie kodu z obserwowalną geometrią i kadrowaniem, podczas gdy nieobsługiwane lub ograniczone funkcje API pozostają czymś, co należy sprawdzić, a nie z góry pomijać.

Zastosowania i stan rozwoju

Three-Live jest przydatny w przypadku proceduralnych wizualizatorów produktów, edytowalnych scen edukacyjnych, prototypów AR i wspomaganego przez AI tworzenia treści 3D w aplikacjach. Może ograniczyć pracę nad tworzeniem scen zależną od platformy, ale nie obiecuje pełnej zgodności z dowolnymi aplikacjami Three.js. Opcje pakietów i plików binarnych obejmują npm, narzędzia Rust, biblioteki Android oraz Apple Swift Package Manager; repozytorium korzysta z licencji Apache-2.0.

Oficjalny dziennik zmian Unreleased stanowi podstawę opisanych tu kierunków rozwoju. Wymienia generowanie sceny z obrazu w czasie działania wraz z kontrolą jakości przestrzennej i jednokrotną naprawą, a także opcjonalne przyspieszenie scen WebGPU i Gaussian splat. Są to zaimplementowane wpisy z gałęzi rozwojowej, a nie obietnice, że każda wydana wersja pakietu je zawiera. Ścieżka obrazu sprawdza minimalną liczbę siatek, skończone granice, pokrycie kamery i krytyczne nakładanie się elementów; kontrole te nie dowodzą wiernej rekonstrukcji obrazu wejściowego.

W ramach tego przeglądu przeanalizowano punkt wejścia kompilatora, limity wykonywania, reprezentację sceny, dokumentację ewaluacji i dziennik zmian. Nie instalowano SDK ani nie mierzono wydajności na urządzeniach.