SeMo3D: Unificando a geração, a edição e a complementação 3D por meio de modelagem seletiva

Destaques e resultados: mude o que importa

Artigo original: ​SeMo3D: Unificando geração, edição e conclusão 3D por meio de modelagem seletiva

O SeMo3D, apresentado por pesquisadores da Universidade de Nanjing, reúne ​geração 3D, edição local e conclusão em uma única estrutura​. Para equipes que exploram a criação de ativos com IA, sua principal promessa é a continuidade: criar um objeto, revisar uma região escolhida ou reconstruir uma seção ausente mantendo o contexto existente. O nome significa ​Modelagem Seletiva​, uma estratégia que faz da região a ser sintetizada a interface comum entre essas tarefas. Repositório oficial.

No Toys4K, os autores relatam uma distância de Chamfer geométrica de 0.0118 contra 0.0330 do TRELLIS.2 (quanto menor, melhor). A preservação na edição alcança 37.39 dB ​PSNR​​​ contra 31.55 dB do VoxHammer​. O F-score de conclusão chega a 0.541 contra 0.412 do HY3D-Omni com orientação adicional por pontos. As entradas compatíveis diferem entre os métodos, e as dicas de pontos vêm da verdade fundamental; essas comparações não isolam os ganhos da arquitetura. Artigo, Tabelas 1–3.

Como funciona: selecionar, sintetizar, preservar

A abstração central divide um ativo em uma região selecionada S e um contexto preservado ​C​. A geração seleciona tudo; a edição seleciona o alvo; a conclusão seleciona o que está faltando. Para uma cadeira, a mesma interface poderia criar a cadeira inteira, substituir seu encosto ou reconstruir uma perna ausente. Esses são usos ilustrativos da definição da tarefa. O modelo aprende um problema compartilhado de síntese regional, em vez de exigir uma receita de treinamento específica para cada tarefa. Visão geral do repositório.

O SeMo3D ajusta os três modelos de fluxo do TRELLIS.2 no Trellis-500K e reutiliza seu SC-VAE. A estrutura esparsa prevê a ocupação em uma ​grade latente de 16³​; forma e textura operam nas posições ocupadas em uma ​grade de 32³​, produzindo geometria e materiais PBR. A máscara é transferida entre os estágios. Assim, a unificação das tarefas ainda usa três modelos específicos por estágio. Artigo, detalhes do método e do treinamento.

A remoção de ruído seletiva por região cria exemplos de treinamento a partir de ativos comuns. Uma região aleatória recebe ruído enquanto seus arredores permanecem limpos; apenas as previsões nessa região contribuem para a perda. O treinamento abrange desde caixas locais até ativos completos, evitando conjuntos de dados emparelhados de edição ou conclusão antes e depois. Na inferência, os tokens selecionados começam com ruído e evoluem sob orientação, enquanto os tokens do contexto original são reutilizados a cada etapa. Assim, o modelo pode consultar o objeto inteiro sem ressintetizá-lo por completo. Explicação oficial do método.

O Omni3DiT torna essa entrada mista compreensível. As incorporações de função identificam os tokens selecionados e de contexto. Ramificações paralelas de atenção cruzada injetam características de imagem do DINOv3 e características de texto do CLIP; tokens de pontos entram na autoatenção no estágio de estrutura esparsa. As imagens orientam a aparência, o texto adiciona intenção semântica e os pontos restringem o layout espacial. O dropout de condições varia a orientação disponível durante o treinamento, incentivando o modelo a usar os sinais complementares. Diagrama oficial da arquitetura.

Uma imagem continua sendo obrigatória. A geração usa 12 etapas de Euler por estágio; edição/conclusão usa 50 para a estrutura e 12 para forma e textura. A preservação estrita se aplica aos tokens latentes, não necessariamente a cada vértice decodificado. Artigo e apêndice de inferência.

Aplicações e próximos passos

A oportunidade prática está no trabalho iterativo: explorar variantes de adereços, reparar referências incompletas e refinar ativos por meio de instruções sucessivas. O projeto oficial também demonstra fluxos de trabalho com agentes que preparam imagens de referência, identificam regiões de edição e acionam o SeMo3D. Isso sugere uma divisão útil do trabalho: um agente traduz a intenção em uma solicitação de modelagem, enquanto o modelo 3D cuida da síntese regional. Demonstrações interativas do projeto.

A prontidão continua limitada. Verificado em 6 de novembro de 2026, o ​repositório oficial​​ contém documentação e ativos de demonstração; os pesos e o código de treinamento, inferência e avaliação continuam não publicados. Sua licença MIT não estabelece os termos de licenciamento para futuros pesos. Este artigo analisa o artigo e o repositório disponível, sem afirmar uma reprodução independente. Lista de verificação do lançamento.

Os autores identificam duas direções de pesquisa. Representações 3D de maior fidelidade poderiam capturar melhor estruturas finas, como folhas de palmeira, que as latentes estruturadas atuais têm dificuldade para resolver. Codificadores de visão-linguagem mais fortes poderiam melhorar a compreensão de prompts composicionais complexos; o artigo mostra frutas laranjas se tornando textura laranja, em vez de objetos separados. Limitações e trabalhos futuros. Os marcos restantes de lançamento do projeto são ​pesos do modelo no Hugging Face e código completo de inferência, treinamento e avaliação​. Lista TODO oficial.