Ídolo: de uma única imagem para splats gaussianos 3D

Destaques e resultados

O Idol, da Speridlabs, transforma uma fotografia, renderização ou imagem gerada de um objeto numa representação 3D Gaussian splat rotacionável. Prevê os lados não observados do objeto e exporta um PLY 3DGS padrão contendo entre 32 768 e 1 048 576 Gaussianas. O seu interesse prático reside num SDK público de inferência com densidade de saída controlável e requisitos de memória de GPU de consumo, em vez de uma sessão obrigatória de captura multiangular. Página oficial de investigação.

A comparação dos autores utiliza um H100 por modelo. Com 50 passos de amostragem e 262 144 Gaussianas, o Idol regista 6,8 segundos por pedido, SSIM da vista de entrada de 0,726 e similaridade DINOv2 de 0,781 em sete novas vistas, em comparação com 0,716 e 0,754 do TRELLIS na sua configuração indicada de 50 + 50 passos. O LGM é mais rápido, com 1,1 segundos, pelo que o Idol não lidera todas as métricas. Estes são resultados comunicados pelos autores; a comparação apresentada não identifica um conjunto de dados de referência nomeado nem o número de amostras. Benchmark.

Uma tabela de tempos separada indica 19,1 segundos numa RTX 4090 na mesma configuração de 50 passos e 262 144 Gaussianas, utilizando a mediana de oito imagens. O cartão do modelo indica 7,2 GB de memória de pico. Por conseguinte, o título “menos de dois segundos” não deve ser interpretado como o tempo de execução medido desta configuração padrão numa 4090. Cartão do modelo e definições de hardware.

Como funciona

O fluxo de inferência é preparação da imagem → codificação dupla da imagem → amostragem conjunta do fluxo do objeto e da câmara → colocação de âncoras numa octree → descodificação das Gaussianas → exportação do PLY e da câmara. O BiRefNet remove o fundo e o objeto é enquadrado em 1024 × 1024 píxeis. Os modos de fotografia e sintético utilizam margens de recorte diferentes: 1,7 e 1,2, respetivamente. Pipeline.

O DINOv3 fornece tokens de características visuais, enquanto o VAE FLUX.2 fornece informação de imagem comprimida. Depois da projeção para a dimensão de trabalho do transformador, os seus embeddings são adicionados para formar o condicionamento da imagem. A geração começa com dois tensores aleatórios: um latent do objeto com 8 192 tokens de 16 canais e um token de câmara de cinco canais. Os fluxos são refinados separadamente antes de a atenção conjunta processar simultaneamente os tokens latentes, de imagem e de câmara. O modelo prevê velocidades tanto para o objeto como para a câmara, fazendo com que o ponto de vista seja parte da geração, em vez de uma entrada assumida de forma independente. Implementação do transformador.

O sampler integra o fluxo retificado desde o ruído em t = 1 até aos dados em t = 0 com passos de Euler. Os valores predefinidos são 50 passos, parâmetro de orientação w = 3 e deslocamento temporal 3. A equação de orientação efetivamente utilizada é v = (1 + w)v_cond − wv_uncond; a grelha temporal deslocada atribui mais passos à região de ruído elevado. Estas operações alteram o latent compacto e o estado da câmara, não milhões de Gaussianas explícitas em cada iteração. Sampler de fluxo.

A descodificação expande espacialmente esse resultado compacto. Um descodificador de octree condiciona-se no latent do objeto e distribui um número solicitado de âncoras por oito células filhas em cada nível. Um descodificador de Gaussianas lê o mesmo latent através de atenção cruzada e emite 32 Gaussianas por âncora, prevendo deslocamentos de posição, cor, escala, rotação e opacidade. Assim, 262 144 Gaussianas requerem 8 192 âncoras. A densidade de saída é controlada na descodificação; não corresponde à contagem de tokens latentes nem a um nível de subdivisão de uma malha. Descodificadores.

O denoiser contém 370,6 M de parâmetros e os dois descodificadores aproximadamente 288,1 M, totalizando cerca de 0,66 mil milhões para esses componentes principais. Incluindo os codificadores de imagem e a remoção do fundo, o pedido completo chega a aproximadamente 1,80 mil milhões de parâmetros. O SDK devolve o splat, a imagem de entrada processada e os parâmetros de câmara previstos. As otimizações da GPU compilam o denoiser e agrupam os passos condicionais e não condicionais, com um custo de arranque adicional na primeira geração. Contabilização dos componentes e execução.

Aplicações, disponibilidade e orientações futuras

A saída é adequada para pré-visualizações de objetos baseadas em splats, apresentações interativas e experiências de geração de imagem para 3D. Um PLY de Gaussianas não é uma malha poligonal estanque, um sólido CAD nem uma personagem automaticamente preparada para animação. As superfícies ocultas são inferidas, não medidas. O SDK e os pesos são publicados com a indicação Apache-2.0, enquanto os componentes de codificação DINOv3 e FLUX.2 necessários requerem acesso condicionado separado e estão sujeitos aos respetivos termos aplicáveis. Lançamento e requisitos de acesso.

Esta análise utiliza a página oficial de investigação, o cartão do modelo e o commit 4702a7f do SDK, verificados em 6 de novembro de 2026. Não foi encontrado nesses materiais nenhum artigo técnico autónomo nem um roteiro explícito de trabalho futuro específico do Idol. O repositório analisado fornece inferência e uma demonstração, pelo que os seus elementos internos não estabelecem uma receita de treino não divulgada. Não foi repetida qualquer inferência do modelo ou benchmark para este artigo.