PartBloom: Modelos 3D Construídos em Partes

Destaques e resultados: de uma imagem a partes separadas

PartBloom é um framework de código aberto que transforma uma única imagem em um modelo 3D com partes separadas. Sua ideia central é simples: um LLM constrói a estrutura e, em seguida, o TRELLIS adiciona detalhes. As partes são planejadas com base em suas funções e movimentos relativos, permitindo que componentes como a carroceria e as rodas de um veículo sejam exportados separadamente. O modelo grosseiro busca preservar aberturas e conexões, tornando o resultado mais fácil de editar, substituir e montar.

O projeto apresenta 14 exemplos de imagem única, comparações de geração e decomposição e demonstrações de animação com rigging. As duas figuras abaixo ilustram o nível geral de detalhes e os limites entre as partes. Esses exemplos qualitativos sugerem potencial, mas não comprovam superioridade consistente em relação a outros métodos. Este artigo é baseado no README e no código-fonte; não executamos testes de geração.

Como funciona: planejamento, refinamento e decodificação de partes

A primeira etapa orquestra três funções de LLM. O Planner produz um grafo de partes que descreve funções, caixas delimitadoras, relações pai–filho, locais de conexão e movimentos esperados. Em seguida, o Builder edita uma máscara de voxels binária para cada parte em uma grade compartilhada de 64³ usando ferramentas de polígono, pincel, movimentação e limpeza. Assim como na construção com blocos, essas operações criam uma geometria grosseira real. O Reviewer compara a imagem de referência com quatro vistas do modelo provisório, verificando proporções, partes ausentes, conexões e aberturas. Ele pode acionar até duas rodadas de reparo.

A segunda etapa reutiliza os pesos pré-treinados do TRELLIS. As coordenadas combinadas de suporte da superfície do modelo grosseiro são expandidas em uma célula ao longo das seis direções dos vizinhos de face e, em seguida, codificadas em um latent de estrutura pelo VAE de estrutura esparsa. Depois de combinar essa codificação com ruído gaussiano, o modelo de fluxo faz amostragens de t=0.65 a t=0 em 12 etapas por padrão, guiado pela imagem de referência, antes de decodificar a estrutura refinada. Assim, o modelo provisório fornece um prior espacial editável, embora o refinamento ainda possa remover partes pequenas.

A atribuição baseada em distância e o crescimento de regiões conectadas transferem os rótulos das partes para a estrutura refinada. Em seguida, o pipeline amostra um SLat compartilhado para todo o objeto: um conjunto de características associadas a coordenadas espaciais. Essas são operações distintas: o latent de estrutura é inicializado a partir do modelo provisório, enquanto o SLat detalhado é gerado novamente. No modo de partes padrão, as características são selecionadas pelo rótulo da parte e decodificadas em malhas separadas. No modo conjunto, o SLat completo é decodificado em características de resolução mais alta antes da extração da malha de cada parte. O contexto de geração compartilhado favorece a consistência, mas não garante junções corretas.

A aparência vem da fatia de cada parte do mesmo SLat por meio de decodificação gaussiana, renderização em múltiplas vistas e criação de texturas. A saída contém a cor base incorporada e não deve ser confundida com um conjunto completo de materiais PBR. Os arquivos entregues incluem dados de planejamento e do modelo provisório, malhas independentes, GLBs texturizados por parte, o assembly_textured.glb montado, imagens de pré-visualização e logs de execução. Juntos, eles permitem inspeção, edição e solução de problemas.

Aplicações e perspectivas: de partes separadas a ativos utilizáveis

Os usos potenciais incluem prototipagem de animações, vistas explodidas de produtos e educação sobre montagem. As malhas separadas ainda exigem rigging para animação esquelética. A impressão física também requer trabalho em tolerâncias, interfaces e espessura das paredes. Como a geometria não visível é inferida a partir de uma única imagem, a saída não deve ser tratada como engenharia reversa precisa.

A implantação requer uma API de LLM, um ambiente CUDA, os pesos do TRELLIS e do DINOv2 e o Blender 4.5. O repositório do PartBloom usa a licença MIT, mas sua dependência PhysX-Omni usa a S-Lab License 1.0, que restringe o uso comercial.

O roadmap oficial inclui rigging e uma migração para o TRELLIS.2. Pesquisas futuras poderiam explorar restrições de múltiplas vistas, verificações de conexão e regeneração local. Medir a retenção de partes, a qualidade das junções, o tempo de execução e o custo ajudaria a estabelecer com que confiabilidade essa abordagem pode dar suporte a fluxos de trabalho de produção.

Fontes: Repositório e roadmap; Prompts dos agentes; Pipeline de refinamento; Exportação de texturas.