SeMo3D: Sjednocení generování, úprav a dokončování 3D pomocí selektivního modelování

Hlavní body a výsledky: změňte to, na čem záleží

Původní článek: ​SeMo3D: Sjednocení 3D generování, úprav a doplňování prostřednictvím selektivního modelování

SeMo3D, který představili výzkumníci z Nanjingské univerzity, spojuje ​3D generování, lokální úpravy a doplňování do jediného rámce​. Pro týmy zkoumající tvorbu AI assetů je jeho hlavním příslibem kontinuita: vytvořit objekt, upravit vybranou oblast nebo rekonstruovat chybějící část při zachování existujícího kontextu. Název označuje ​Selective Modeling​, tedy strategii, díky níž se oblast určená k syntéze stává společným rozhraním těchto úloh. Oficiální repozitář.

Na datové sadě Toys4K autoři uvádějí geometrickou Chamferovu vzdálenost 0.0118 oproti 0.0330 u TRELLIS.2 (nižší je lepší). Zachování při úpravách dosahuje 37.39 dB ​PSNR​​​ oproti 31.55 dB u VoxHammeru​. F-skóre při doplňování dosahuje 0.541 oproti 0.412 u HY3D-Omni s dodatečným vedením body. Podporované vstupy se mezi metodami liší a nápovědy v podobě bodů pocházejí z ground truth; tato srovnání neizolují přínosy architektury. Článek, tabulky 1–3.

Jak to funguje: výběr, syntéza, zachování

Klíčová abstrakce rozděluje asset na vybranou oblast S a zachovaný kontext ​C​. Při generování se vybírá vše; při úpravách se vybírá cíl; při doplňování se vybírá to, co chybí. U židle by stejné rozhraní mohlo vytvořit celou židli, nahradit její opěradlo nebo rekonstruovat chybějící nohu. Jde o ilustrativní použití definice úlohy. Model se učí společný problém regionální syntézy, místo aby vyžadoval samostatný tréninkový postup pro každou úlohu. Přehled repozitáře.

SeMo3D dolaďuje tři flow modely TRELLIS.2 na sadě Trellis-500K a znovu používá jeho SC-VAE. Řídká struktura predikuje obsazenost v ​16³ latentní ​mřížce​; tvar a textura pracují na obsazených pozicích v ​mřížce 32³​ a vytvářejí geometrii a materiály PBR. Maska se přenáší mezi fázemi. Sjednocení úloh tedy stále používá tři modely specifické pro jednotlivé fáze. Článek, podrobnosti metody a trénování.

Regionálně selektivní odšumování vytváří tréninkové příklady z běžných assetů. Náhodná oblast obdrží šum, zatímco její okolí zůstane čisté; k výpočtu ztráty přispívají pouze predikce v této oblasti. Trénování pokrývá rozsah od lokálních rámečků až po celé assety, takže nejsou potřeba párované datové sady úprav nebo doplňování před a po. Při inferenci začínají vybrané tokeny od šumu a vyvíjejí se pod vedením, zatímco tokeny původního kontextu se znovu používají v každém kroku. Model tak může využívat celý objekt, aniž by jej celý znovu syntetizoval. Oficiální vysvětlení metody.

Omni3DiT umožňuje porozumět tomuto smíšenému vstupu. Embeddingy rolí identifikují vybrané tokeny a tokeny kontextu. Paralelní větve cross-attention vkládají obrazové příznaky DINOv3 a textové příznaky CLIP; tokeny bodů vstupují do self-attention ve fázi řídké struktury. Obrázky vedou vzhled, text přidává sémantický záměr a body omezují prostorové uspořádání. Dropout podmínek během trénování mění dostupné vedení a podporuje model ve využívání doplňkových signálů. Oficiální schéma architektury.

Obraz zůstává povinný. Generování používá 12 Eulerových kroků na fázi; úpravy/doplňování používají 50 kroků pro strukturu a 12 pro tvar a texturu. Přísné zachování se vztahuje na latentní tokeny, nikoli nutně na každý dekódovaný vrchol. Článek a příloha o inferenci.

Aplikace a co bude dál

Praktická příležitost spočívá v iterativní práci: zkoumání variant rekvizit, opravování neúplných předloh a zdokonalování assetů prostřednictvím postupných instrukcí. Oficiální projekt také ukazuje workflow agentů, kteří připravují referenční obrázky, identifikují oblasti úprav a spouštějí SeMo3D. To naznačuje užitečné rozdělení práce: agent převádí záměr na požadavek pro modelování, zatímco 3D model zajišťuje regionální syntézu. Interaktivní ukázky projektu.

Připravenost zůstává omezená. Podle kontroly ze 6. listopadu 2026 oficiální ​repozitář​​ obsahuje dokumentaci a demonstrační assety; váhy a kód pro trénování, inferenci a evaluaci dosud nebyly zveřejněny. Jeho licence MIT nestanovuje licenční podmínky pro budoucí váhy. Tento článek hodnotí práci a dostupný repozitář, aniž by tvrdil, že jde o nezávislou reprodukci. Kontrolní seznam vydání.

Autoři identifikují dva směry výzkumu. 3D reprezentace s vyšší věrností by mohly lépe zachycovat tenké struktury, jako jsou palmové listy, s jejichž rozlišením mají současné strukturované latenty potíže. Výkonnější vision-language enkodéry by mohly zlepšit porozumění složitým kompozičním promptům; článek ukazuje, že oranžové plody se stávají oranžovou texturou, nikoli samostatnými objekty. Omezení a budoucí práce. Zbývající milníky vydání projektu jsou ​váhy modelu na Hugging Face a kompletní kód pro inferenci, trénování a evaluaci​. Oficiální seznam TODO.