PartBloom: Modele 3D zbudowane z części

Najważniejsze informacje i rezultaty: od jednego obrazu do oddzielnych części

PartBloom to framework open source, który przekształca pojedynczy obraz w model 3D z oddzielnymi częściami. Jego główna idea jest prosta: LLM buduje strukturę, a następnie TRELLIS dodaje szczegóły. Części są planowane z uwzględnieniem ich funkcji i wzajemnego ruchu, co pozwala eksportować oddzielnie takie elementy jak nadwozie pojazdu i koła. Model zgrubny ma zachowywać otwory i połączenia, dzięki czemu wynik jest łatwiejszy do edycji, wymiany i montażu.

Projekt przedstawia 14 przykładów z pojedynczego obrazu, porównania generowania i dekompozycji oraz demonstracje animacji z riggingiem. Dwie poniższe ilustracje pokazują ogólny poziom szczegółowości i granice części. Te przykłady jakościowe wskazują na potencjał, ale nie potwierdzają stałej przewagi nad innymi metodami. Ten artykuł powstał na podstawie pliku README i kodu źródłowego; nie przeprowadziliśmy testów generowania.

Jak to działa: planowanie, udoskonalanie i dekodowanie części

Pierwszy etap koordynuje trzy role LLM. Planner tworzy graf części opisujący funkcje, obwiednie, relacje rodzic–dziecko, położenia połączeń i oczekiwany ruch. Następnie Builder edytuje binarną maskę wokseli dla każdej części we wspólnej siatce 64³, używając narzędzi wielokąta, pędzla, przesuwania i czyszczenia. Podobnie jak przy budowaniu z klocków, operacje te tworzą rzeczywistą geometrię zgrubną. Reviewer porównuje obraz referencyjny z czterema widokami modelu zastępczego, sprawdzając proporcje, brakujące części, połączenia i otwory. Może uruchomić maksymalnie dwie rundy naprawcze.

Drugi etap ponownie wykorzystuje wytrenowane wstępnie wagi TRELLIS. Połączone współrzędne powierzchni i podparcia modelu zgrubnego są rozszerzane o jedną komórkę wzdłuż sześciu kierunków do sąsiednich ścian, a następnie kodowane do latentnej reprezentacji struktury przez VAE rzadkiej struktury. Po połączeniu tego kodowania z szumem gaussowskim model przepływu domyślnie próbuje próbek od t=0.65 do t=0 w 12 krokach, kierując się obrazem referencyjnym, a następnie dekoduje udoskonaloną strukturę. Model zastępczy zapewnia więc edytowalny prior przestrzenny, choć udoskonalanie nadal może usuwać małe części.

Przypisywanie na podstawie odległości i rozrost połączonych obszarów przenoszą etykiety części do udoskonalonej struktury. Następnie potok próbuje jedną wspólną reprezentację SLat dla całego obiektu: zestaw cech powiązanych ze współrzędnymi przestrzennymi. Są to odrębne operacje — latentna reprezentacja struktury jest inicjalizowana na podstawie modelu zastępczego, natomiast szczegółowa reprezentacja SLat jest generowana od nowa. W domyślnym trybie części cechy są wybierane według etykiety części i dekodowane do oddzielnych siatek. W trybie łączonym pełna reprezentacja SLat jest dekodowana do cech o wyższej rozdzielczości przed wyodrębnieniem siatki każdej części. Wspólny kontekst generowania wspiera spójność, ale nie gwarantuje poprawnych szwów.

Wygląd pochodzi z wycinka tej samej reprezentacji SLat dla każdej części poprzez dekodowanie gaussowskie, renderowanie z wielu widoków i wypalanie tekstur. Wynik zawiera wypalony kolor bazowy i nie należy go mylić z kompletnym zestawem materiałów PBR. Artefakty obejmują dane planowania i modelu zastępczego, niezależne siatki, teksturowane pliki GLB dla poszczególnych części, zmontowany plik assembly_textured.glb, obrazy podglądu i dzienniki uruchomień. Razem wspierają one inspekcję, edycję i rozwiązywanie problemów.

Zastosowania i perspektywy: od oddzielnych części do użytecznych zasobów

Potencjalne zastosowania obejmują prototypowanie animacji, widoki rozłożonych produktów i edukację w zakresie montażu. Oddzielne siatki nadal wymagają riggingu do animacji szkieletowej. Druk fizyczny również wymaga pracy nad tolerancjami, interfejsami i grubością ścian. Ponieważ niewidoczna geometria jest wnioskowana na podstawie pojedynczego obrazu, wyniku nie należy traktować jako precyzyjnej inżynierii odwrotnej.

Wdrożenie wymaga interfejsu API LLM, środowiska CUDA, wag TRELLIS i DINOv2 oraz Blendera 4.5. Repozytorium PartBloom korzysta z licencji MIT, ale jego zależność PhysX-Omni korzysta z licencji S-Lab License 1.0, która ogranicza zastosowania komercyjne.

Oficjalny plan rozwoju obejmuje rigging i przejście na TRELLIS.2. Dalsze badania mogłyby obejmować ograniczenia wielowidokowe, sprawdzanie połączeń i lokalne ponowne generowanie. Pomiar zachowania części, jakości szwów, czasu działania i kosztu pomógłby określić, jak niezawodnie to podejście może wspierać przepływy pracy produkcyjnej.

Źródła: Repozytorium i plan rozwoju; Prompty agenta; Potok udoskonalania; Eksport tekstur.