PartBloom: Modelos 3D Construídos por Peças

Destaques e resultados: de uma imagem a componentes separados

O PartBloom é uma framework de código aberto que transforma uma única imagem num modelo 3D com componentes separados. A sua ideia central é simples: um LLM constrói a estrutura e, em seguida, o TRELLIS acrescenta os detalhes. Os componentes são planeados com base nas suas funções e no movimento relativo, permitindo exportar separadamente elementos como a carroçaria e as rodas de um veículo. O modelo grosseiro procura preservar aberturas e ligações, tornando o resultado mais fácil de editar, substituir e montar.

O projeto apresenta 14 exemplos de uma única imagem, comparações entre geração e decomposição e demonstrações de animação com rigging. As duas figuras abaixo ilustram o nível geral de detalhe e os limites entre componentes. Estes exemplos qualitativos sugerem potencial, mas não estabelecem uma superioridade consistente face a outros métodos. Este artigo baseia-se no README e no código-fonte; não executámos testes de geração.

Como funciona: planeamento, refinamento e descodificação de componentes

A primeira fase coordena três funções de LLM. O Planeador produz um grafo de componentes que descreve funções, caixas delimitadoras, relações pai–filho, localizações das ligações e movimento esperado. Em seguida, o Construtor edita uma máscara de vóxeis binária para cada componente numa grelha 64³ partilhada, utilizando ferramentas de polígono, pincel, deslocação e limpeza. Tal como na construção com blocos, estas operações criam geometria grosseira real. O Revisor compara a imagem de referência com quatro vistas do modelo proxy, verificando proporções, componentes em falta, ligações e aberturas. Pode acionar até duas rondas de reparação.

A segunda fase reutiliza os pesos pré-treinados do TRELLIS. As coordenadas combinadas de suporte de superfície do modelo grosseiro são expandidas uma célula ao longo das seis direções dos vizinhos de face e, em seguida, codificadas num latent de estrutura pelo VAE de estrutura esparsa. Depois de combinar esta codificação com ruído gaussiano, o modelo de fluxo faz amostragem de t=0.65 a t=0 em 12 passos por predefinição, orientado pela imagem de referência, antes de descodificar a estrutura refinada. O modelo proxy fornece, assim, uma prioridade espacial editável, embora o refinamento ainda possa remover componentes pequenos.

A atribuição baseada em distância e o crescimento de regiões ligadas transferem os rótulos dos componentes para a estrutura refinada. De seguida, o pipeline faz a amostragem de um SLat partilhado para todo o objeto: um conjunto de características associadas a coordenadas espaciais. Estas são operações distintas — o latent de estrutura é inicializado a partir do modelo proxy, enquanto o SLat detalhado é gerado de novo. No modo de componentes predefinido, as características são selecionadas pelo rótulo do componente e descodificadas em meshes separadas. No modo conjunto, o SLat completo é descodificado em características de maior resolução antes de extrair a mesh de cada componente. O contexto de geração partilhado favorece a consistência, mas não garante juntas corretas.

A aparência provém da fatia de cada componente do mesmo SLat através de descodificação gaussiana, renderização de múltiplas vistas e aplicação de texturas. O resultado contém cor base incorporada e não deve ser confundido com um conjunto completo de materiais PBR. Os ficheiros fornecidos incluem dados de planeamento e do modelo proxy, meshes independentes, GLBs texturizados por componente, o assembly_textured.glb montado, imagens de pré-visualização e registos de execução. Em conjunto, permitem inspeção, edição e resolução de problemas.

Aplicações e perspetivas: de componentes separados a recursos utilizáveis

Os possíveis usos incluem prototipagem de animações, vistas explodidas de produtos e formação em montagem. As meshes separadas continuam a exigir rigging para animação esquelética. A impressão física também requer trabalho sobre tolerâncias, interfaces e espessura das paredes. Como a geometria não visível é inferida a partir de uma única imagem, o resultado não deve ser tratado como engenharia inversa precisa.

A implementação requer uma API de LLM, um ambiente CUDA, os pesos do TRELLIS e do DINOv2 e o Blender 4.5. O repositório PartBloom utiliza a licença MIT, mas a sua dependência PhysX-Omni utiliza a S-Lab License 1.0, que restringe a utilização comercial.

O roteiro oficial inclui rigging e a migração para o TRELLIS.2. Investigações futuras poderiam explorar restrições de múltiplas vistas, verificações de ligações e regeneração local. Medir a retenção de componentes, a qualidade das juntas, o tempo de execução e o custo ajudaria a determinar com que fiabilidade esta abordagem pode apoiar fluxos de trabalho de produção.

Fontes: Repositório e roteiro; Prompts dos agentes; Pipeline de refinamento; Exportação de texturas.