PartBloom: 3D-моделі, створені з частин

Основні моменти та результати: від одного зображення до окремих частин

PartBloom — це фреймворк із відкритим кодом, який перетворює одне зображення на 3D-модель з окремими частинами. Його основна ідея проста: LLM будує структуру, а потім TRELLIS додає деталі. Частини плануються з урахуванням їхніх функцій і відносного руху, що дає змогу експортувати окремо такі компоненти, як кузов і колеса транспортного засобу. Чорнова модель прагне зберегти отвори та з'єднання, завдяки чому результат легше редагувати, замінювати й збирати.

Проєкт демонструє 14 прикладів з одного зображення, порівняння генерації та декомпозиції, а також приклади анімації з ригінгом. Два наведені нижче рисунки ілюструють загальну деталізацію та межі частин. Ці якісні приклади свідчать про потенціал, але не підтверджують стабільну перевагу над іншими методами. Ця стаття базується на README та вихідному коді; ми не проводили тести генерації.

Як це працює: планування, уточнення та декодування частин

Перший етап координує три ролі LLM. Планувальник створює граф частин, що описує функції, обмежувальні рамки, зв'язки «батько–дитина», місця з'єднань і очікуваний рух. Потім Будівельник редагує бінарну воксельну маску для кожної частини у спільній сітці 64³ за допомогою інструментів полігона, пензля, переміщення та очищення. Подібно до будування з блоків, ці операції створюють фактичну чорнову геометрію. Рецензент порівнює еталонне зображення з чотирма видами проксі-моделі, перевіряючи пропорції, відсутні частини, з'єднання та отвори. Він може запустити до двох раундів виправлень.

На другому етапі повторно використовуються попередньо навчені ваги TRELLIS. Об'єднані координати поверхневої опори чорнової моделі розширюються на одну комірку вздовж шести напрямків до сусідніх граней, після чого кодуються в латентне представлення структури за допомогою VAE розрідженої структури. Після змішування цього кодування з гаусівським шумом flow-модель за замовчуванням виконує вибірку від t=0.65 до t=0 за 12 кроків під керуванням еталонного зображення, перш ніж декодувати уточнену структуру. Таким чином, проксі-модель забезпечує редагований просторовий апріорний розподіл, хоча під час уточнення невеликі частини все одно можуть бути видалені.

Присвоєння на основі відстані та нарощування зв'язаних областей переносять мітки частин до уточненої структури. Потім конвеєр вибирає один спільний SLat для всього об'єкта: набір ознак, пов'язаних із просторовими координатами. Це різні операції — латентне представлення структури ініціалізується з проксі-моделі, тоді як детальний SLat генерується заново. У режимі parts за замовчуванням ознаки вибираються за міткою частини й декодуються в окремі сітки. У режимі joint повний SLat декодується у високороздільні ознаки, після чого витягується сітка кожної частини. Спільний контекст генерації сприяє узгодженості, але не гарантує правильних швів.

Зовнішній вигляд кожної частини формується з її зрізу того самого SLat за допомогою гаусівського декодування, багатовидового рендерингу та запікання текстур. Результат містить запечений базовий колір, і його не слід вважати повним набором матеріалів PBR. Результати включають дані планування та проксі-моделі, незалежні сітки, текстуровані GLB-файли для кожної частини, зібраний assembly_textured.glb, зображення попереднього перегляду та журнали запуску. Разом вони дають змогу перевіряти, редагувати й усувати неполадки.

Застосування та перспективи: від окремих частин до придатних для використання ресурсів

Потенційні сфери використання включають прототипування анімації, вибухові зображення виробів та навчання складанню. Для скелетної анімації окремі сітки все одно потребують ригінгу. Для фізичного друку також необхідно опрацювати допуски, інтерфейси та товщину стінок. Оскільки невидима геометрія виводиться з одного зображення, результат не слід розглядати як точну реконструкцію.

Для розгортання потрібні API LLM, середовище CUDA, ваги TRELLIS і DINOv2 та Blender 4.5. Репозиторій PartBloom використовує ліцензію MIT, але його залежність PhysX-Omni використовує ліцензію S-Lab License 1.0, яка обмежує комерційне використання.

Офіційна дорожня карта передбачає ригінг і перехід на TRELLIS.2. Подальші дослідження можуть зосередитися на обмеженнях багатовидового перегляду, перевірках з'єднань і локальній регенерації. Вимірювання збереження частин, якості швів, часу виконання та вартості допомогло б встановити, наскільки надійно цей підхід може підтримувати виробничі процеси.

Джерела: Репозиторій і дорожня карта; Підказки агентів; Конвеєр уточнення; Експорт текстур.