Ídolo: imagem única para splats gaussianos 3D

Destaques e resultados

Idol, da Speridlabs, transforma uma fotografia, renderização ou imagem gerada de um objeto em um splat 3D Gaussiano rotacionável. Ele prevê os lados não visíveis do objeto e exporta um PLY 3DGS padrão contendo de 32.768 a 1.048.576 Gaussianas. Seu apelo prático é um SDK público de inferência com densidade de saída controlável e requisitos de memória de GPU para consumidores, em vez de exigir uma sessão de captura em múltiplas vistas. Página oficial da pesquisa.

A comparação dos autores usa uma H100 por modelo. Com 50 etapas de amostragem e 262.144 Gaussianas, o Idol reporta 6,8 segundos por solicitação, SSIM da vista de entrada de 0,726 e similaridade DINOv2 de 0,781 para sete novas vistas, em comparação com 0,716 e 0,754 do TRELLIS em sua configuração indicada de 50 + 50 etapas. O LGM é mais rápido, com 1,1 segundo, portanto o Idol não lidera todas as métricas. Estes são resultados relatados pelos autores; a comparação exibida não identifica um conjunto de dados de benchmark nomeado nem uma quantidade de amostras. Benchmark.

Uma tabela de tempos separada relata 19,1 segundos em uma RTX 4090 na mesma configuração de 50 etapas e 262.144 Gaussianas, calculando a mediana de oito imagens. O cartão do modelo relata 7,2 GB de memória máxima. Portanto, sua manchete de “menos de dois segundos” não deve ser interpretada como o tempo de execução medido dessa configuração padrão em uma 4090. Cartão do modelo e configurações de hardware.

Como funciona

O fluxo de inferência é preparação da imagem → codificação dupla da imagem → amostragem conjunta do fluxo de objeto e câmera → posicionamento de âncoras em octree → decodificação Gaussiana → exportação do PLY e da câmera. O BiRefNet remove o fundo, e o objeto é enquadrado em 1024 × 1024 pixels. Os modos de foto e sintético usam margens de recorte diferentes, 1,7 e 1,2 respectivamente. Pipeline.

O DINOv3 fornece tokens de características visuais, enquanto o VAE FLUX.2 fornece informações de imagem comprimidas. Depois da projeção na dimensão de trabalho do transformer, seus embeddings são adicionados para formar o condicionamento da imagem. A geração começa com dois tensores aleatórios: um latent de objeto com 8.192 tokens de 16 canais e um token de câmera de cinco canais. Os fluxos são refinados separadamente antes que a atenção conjunta processe os tokens de latent, imagem e câmera em conjunto. O modelo prevê velocidades tanto para o objeto quanto para a câmera, fazendo com que o ponto de vista seja parte da geração, em vez de uma entrada assumida de forma independente. Implementação do transformer.

O sampler integra o fluxo retificado do ruído em t = 1 aos dados em t = 0 com etapas de Euler. Os padrões são 50 etapas, parâmetro de orientação w = 3 e deslocamento temporal 3. A equação de orientação real é v = (1 + w)v_cond − wv_uncond; a grade temporal deslocada aloca mais etapas perto do ruído alto. Essas operações alteram o latent compacto e o estado da câmera, não milhões de Gaussianas explícitas a cada iteração. Sampler de fluxo.

A decodificação expande espacialmente esse resultado compacto. Um decodificador de octree é condicionado pelo latent do objeto e distribui uma quantidade solicitada de âncoras entre oito células filhas em cada nível. Um decodificador Gaussiano lê o mesmo latent por meio de atenção cruzada e emite 32 Gaussianas por âncora, prevendo deslocamentos de posição, cor, escala, rotação e opacidade. Assim, 262.144 Gaussianas exigem 8.192 âncoras. A densidade de saída é controlada na decodificação; ela não corresponde à quantidade de tokens do latent nem a um nível de subdivisão de malha. Decodificadores.

O denoiser contém 370,6 milhões de parâmetros e os dois decodificadores aproximadamente 288,1 milhões, totalizando cerca de 0,66 bilhão para esses componentes principais. Incluindo os codificadores de imagem e a remoção do fundo, a solicitação completa chega a aproximadamente 1,80 bilhão de parâmetros. O SDK retorna o splat, a imagem de entrada processada e os parâmetros de câmera previstos. As otimizações de GPU compilam o denoiser e agrupam as passagens condicional e não condicional, com custo adicional de inicialização na primeira geração. Contabilização de componentes e execução.

Aplicações, disponibilidade e direções futuras

A saída é adequada para pré-visualizações de objetos baseadas em splats, apresentações interativas e experimentos de geração de imagem para 3D. Um PLY Gaussiano não é uma malha poligonal estanque, um sólido CAD nem um personagem automaticamente rigado. As superfícies ocultas são inferidas, não medidas. O SDK e os pesos são publicados com a indicação Apache-2.0, enquanto os componentes de codificação DINOv3 e FLUX.2 necessários exigem acesso controlado separado e estão sujeitos aos termos aplicáveis. Requisitos de lançamento e acesso.

Esta análise usa a página oficial da pesquisa, o cartão do modelo e o commit 4702a7f do SDK, verificados em 6 de novembro de 2026. Nenhum artigo técnico independente ou roteiro explícito de trabalhos futuros específico do Idol foi encontrado nesses materiais. O repositório inspecionado fornece inferência e uma demonstração, portanto seus componentes internos não estabelecem uma receita de treinamento não divulgada. Nenhuma inferência do modelo ou benchmark foi executado novamente para este artigo.