PartBloom: 3D-модели, собранные из деталей
PartBloom — это фреймворк с открытым исходным кодом, который преобразует одно изображение в модульную 3D-модель с отдельно экспортируемыми частями, используя LLM для создания структуры и TRELLIS для детализации.
Основные моменты и результаты: от одного изображения к отдельным частям
PartBloom — это фреймворк с открытым исходным кодом, который преобразует одно изображение в 3D-модель с отдельными частями. Его основная идея проста: LLM создаёт структуру, а затем TRELLIS добавляет детали. Части планируются с учётом их функций и относительного движения, благодаря чему такие компоненты, как кузов автомобиля и колёса, можно экспортировать отдельно. Грубая модель стремится сохранять отверстия и соединения, что упрощает редактирование, замену и сборку результата.
В проекте представлены 14 примеров по одному изображению, сравнения генерации и декомпозиции, а также демонстрации анимации с риггингом. Два рисунка ниже иллюстрируют общую детализацию и границы частей. Эти качественные примеры указывают на потенциал, но не доказывают стабильного превосходства над другими методами. Эта статья основана на README и исходном коде; мы не проводили тесты генерации.
Как это работает: планирование, уточнение и декодирование частей
На первом этапе координируется работа трёх ролей LLM. Планировщик создаёт граф частей, описывающий функции, ограничивающие блоки, связи между родительскими и дочерними элементами, расположение соединений и предполагаемое движение. Затем Строитель редактирует бинарную воксельную маску каждой части в общей сетке 64³ с помощью инструментов многоугольника, кисти, перемещения и очистки. Подобно строительству из блоков, эти операции создают фактическую грубую геометрию. Рецензент сравнивает эталонное изображение с четырьмя видами прокси-модели, проверяя пропорции, отсутствующие части, соединения и отверстия. Он может инициировать до двух раундов исправлений.
На втором этапе повторно используются предварительно обученные веса TRELLIS. Объединённые координаты поверхности и опоры грубой модели расширяются на одну ячейку вдоль шести направлений к граням соседних ячеек, а затем кодируются в латентное представление структуры с помощью VAE разреженной структуры. После смешивания этого представления с гауссовым шумом flow-модель по умолчанию выполняет выборку от t=0.65 до t=0 за 12 шагов под управлением эталонного изображения, после чего декодирует уточнённую структуру. Таким образом, прокси-модель задаёт редактируемый пространственный априор, хотя в процессе уточнения небольшие части всё ещё могут быть удалены.
Назначение на основе расстояния и выращивание связанных областей переносят метки частей на уточнённую структуру. Затем конвейер создаёт один общий SLat для всего объекта: набор признаков, связанных с пространственными координатами. Это разные операции: латентное представление структуры инициализируется на основе прокси-модели, а детализированный SLat создаётся заново. В режиме частей по умолчанию признаки выбираются по метке части и декодируются в отдельные меши. В совместном режиме полный SLat декодируется в признаки более высокого разрешения, после чего извлекается меш каждой части. Общий контекст генерации поддерживает согласованность, но не гарантирует корректность швов.
Внешний вид каждой части формируется из её среза одного и того же SLat посредством гауссовского декодирования, рендеринга с нескольких видов и запекания текстур. Результат содержит запечённый базовый цвет, и его не следует принимать за полный набор материалов PBR. В состав результатов входят данные планирования и прокси-модели, независимые меши, текстурированные GLB-файлы для каждой части, собранный assembly_textured.glb, изображения предпросмотра и журналы запуска. Вместе они поддерживают проверку, редактирование и устранение неполадок.
Применение и перспективы: от отдельных частей к готовым активам
К потенциальным применениям относятся прототипирование анимации, взрывные виды изделий и обучение сборке. Для скелетной анимации отдельным мешам по-прежнему требуется риггинг. Для физической печати также необходима доработка допусков, сопряжений и толщины стенок. Поскольку невидимая геометрия выводится по одному изображению, результат не следует рассматривать как точную обратную инженерию.
Для развёртывания требуются API LLM, среда CUDA, веса TRELLIS и DINOv2, а также Blender 4.5. Репозиторий PartBloom использует лицензию MIT, но его зависимость PhysX-Omni использует лицензию S-Lab License 1.0, которая ограничивает коммерческое использование.
Официальная дорожная карта включает риггинг и переход на TRELLIS.2. Дальнейшие исследования могли бы изучить ограничения по нескольким видам, проверки соединений и локальную регенерацию. Измерение сохранности частей, качества швов, времени выполнения и стоимости помогло бы определить, насколько надёжно этот подход может поддерживать производственные процессы.
Источники: репозиторий и дорожная карта; промпты агентов; конвейер уточнения; экспорт текстур.
Часто задаваемые вопросы
Что PartBloom создаёт из одного изображения?
PartBloom превращает одно исходное изображение в 3D-модель с отдельно редактируемыми частями. Например, колёса транспортного средства можно экспортировать как отдельные меши, чтобы вращать или заменять колесо, сохраняя кузов на месте.
Как PartBloom определяет, где заканчивается одна часть и начинается другая?
Всё начинается с определения того, что делает каждый компонент и как он перемещается относительно соседних компонентов. Языковая модель использует этот план, чтобы построить приблизительную 3D-форму каждой детали. Затем TRELLIS уточняет геометрию, используя референсное изображение в качестве ориентира.
Какие файлы экспортирует PartBloom?
Вы получаете текстурированный GLB-файл для каждой детали и файл assembly_textured.glb, отображающий весь объект. Выберите файл отдельной детали, чтобы редактировать один компонент, или откройте сборку, чтобы проверить, как соединяются детали. Текстуры содержат только запечённый базовый цвет.
Насколько точно восстанавливаются скрытые части изображения?
PartBloom восстанавливает скрытые поверхности по видимой форме. Колесо может выглядеть убедительно сбоку, хотя его скрытое соединение с осью всё ещё требует доработки. Небольшие детали также могут исчезнуть в процессе уточнения, поэтому осмотрите модель с нескольких ракурсов, прежде чем полагаться на точность посадки.
