PartBloom: 3D modely sestavené z částí
PartBloom je open-source framework, který transformuje jeden obrázek na modulární 3D model se samostatně exportovatelnými částmi a využívá LLM pro strukturu a TRELLIS pro detaily.
Hlavní body a výsledky: Od jednoho obrázku k odděleným částem
PartBloom je open-source framework, který převádí jediný obrázek na 3D model s oddělenými částmi. Jeho základní myšlenka je jednoduchá: LLM vytvoří strukturu a TRELLIS následně přidá detaily. Části jsou plánovány s ohledem na jejich funkce a vzájemný pohyb, takže komponenty, jako je karoserie vozidla a kola, lze exportovat samostatně. Hrubý model se snaží zachovat otvory a propojení, což usnadňuje jeho úpravy, výměnu a sestavení.
Projekt představuje 14 příkladů z jediného obrázku, srovnání generování a dekompozice a ukázky animací s riggingem. Dva níže uvedené obrázky ilustrují celkovou úroveň detailu a hranice částí. Tyto kvalitativní příklady naznačují potenciál, ale nepotvrzují konzistentní převahu nad jinými metodami. Tento článek vychází ze souborů README a zdrojového kódu; generování jsme netestovali.
Jak to funguje: Plánování, zpřesňování a dekódování částí
První fáze koordinuje tři role LLM. Plánovač vytváří graf částí popisující funkce, ohraničující boxy, vztahy mezi nadřazenými a podřízenými prvky, místa propojení a očekávaný pohyb. Následně Builder upravuje binární voxelovou masku každé části ve sdílené mřížce 64³ pomocí nástrojů pro polygony, štětec, přesun a vymazání. Stejně jako při stavění z kostek tyto operace vytvářejí skutečnou hrubou geometrii. Reviewer porovnává referenční obrázek se čtyřmi pohledy na proxy model a kontroluje proporce, chybějící části, propojení a otvory. Může spustit až dvě kola oprav.
Druhá fáze znovu využívá předtrénované váhy TRELLIS. Souřadnice kombinované podpory povrchu hrubého modelu se rozšíří o jednu buňku podél šesti směrů k sousedním stěnám a poté se zakódují do latentní struktury pomocí VAE pro řídkou strukturu. Po smíchání tohoto kódování s Gaussovým šumem flow model ve výchozím nastavení vzorkuje od t=0.65 do t=0 ve 12 krocích, přičemž jej vede referenční obrázek, a následně dekóduje zpřesněnou strukturu. Proxy model tak poskytuje upravitelný prostorový prior, i když zpřesňování může stále odstranit malé části.
Přiřazování založené na vzdálenosti a růst propojených oblastí přenášejí štítky částí do zpřesněné struktury. Pipeline poté vzorkuje jeden sdílený SLat pro celý objekt: soubor příznaků spojených s prostorovými souřadnicemi. Jde o odlišné operace — latentní struktura se inicializuje z proxy modelu, zatímco detailní SLat se generuje znovu. Ve výchozím režimu parts se příznaky vyberou podle štítku části a dekódují do samostatných sítí. V režimu joint se celý SLat dekóduje do příznaků s vyšším rozlišením a teprve poté se extrahuje síť každé části. Sdílený kontext generování podporuje konzistenci, ale nezaručuje správné švy.
Vzhled pochází z výřezu stejného SLat pro každou část prostřednictvím Gaussova dekódování, vykreslování z více pohledů a pečení textur. Výstup obsahuje upečenou základní barvu a neměl by být zaměňován za kompletní sadu materiálů PBR. Mezi výstupy patří data plánování a proxy modelu, nezávislé sítě, texturované GLB soubory jednotlivých částí, sestavený assembly_textured.glb, náhledové obrázky a protokoly běhu. Společně podporují kontrolu, úpravy a řešení problémů.
Použití a výhled: Od oddělených částí k použitelným assetům
Mezi potenciální využití patří prototypování animací, rozložené pohledy na produkty a výuka sestavování. Samostatné sítě stále vyžadují rigging pro skeletální animaci. Také 3D tisk vyžaduje práci s tolerancemi, rozhraními a tloušťkou stěn. Protože se neviditelná geometrie odvozuje z jediného obrázku, výstup by neměl být považován za přesné reverzní inženýrství.
Nasazení vyžaduje API LLM, prostředí CUDA, váhy TRELLIS a DINOv2 a Blender 4.5. Repozitář PartBloom používá licenci MIT, jeho závislost PhysX-Omni však používá licenci S-Lab License 1.0, která omezuje komerční využití.
Oficiální plán vývoje zahrnuje rigging a přechod na TRELLIS.2. Další výzkum by mohl prozkoumat omezení z více pohledů, kontroly propojení a lokální regeneraci. Měření zachování částí, kvality švů, doby běhu a nákladů by pomohlo zjistit, jak spolehlivě může tento přístup podporovat produkční workflow.
Zdroje: Repozitář a plán vývoje; Prompty agentů; Pipeline zpřesňování; Export textur.
Časté dotazy
Co PartBloom vytváří z jediného obrázku?
PartBloom převede jeden referenční obrázek na 3D model se samostatně upravitelnými částmi. Například kola vozidla lze exportovat jako jednotlivé sítě, takže můžete kolo otáčet nebo nahradit, zatímco karoserie zůstane na místě.
Jak PartBloom určuje, kde jedna část končí a druhá začíná?
Začíná tím, že se ptá, co která komponenta dělá a jak se pohybuje vzhledem ke svým sousedům. Jazykový model tento plán využije k vytvoření hrubého 3D tvaru každé části. TRELLIS poté zpřesní geometrii s využitím referenčního obrázku jako vodítka.
Jaké soubory PartBloom exportuje?
Pro každou součást získáte texturovaný soubor GLB a soubor assembly_textured.glb zobrazující celý objekt. Vyberte soubor konkrétní součásti, chcete-li upravit jednu komponentu, nebo otevřete sestavu a prohlédněte si, jak do sebe jednotlivé díly zapadají. Textury obsahují pouze předpečenou základní barvu.
Jak přesné jsou části skryté v obrázku?
PartBloom odvozuje skryté povrchy z viditelného tvaru. Kolo může z boku působit přesvědčivě, zatímco jeho skryté spojení s nápravou může stále vyžadovat úpravu. Během dolaďování mohou také zmizet malé části, proto si model před spoléháním na správné usazení prohlédněte z několika úhlů.
