Ídolo: de una imagen única a splats gaussianos 3D

Aspectos destacados y resultados

Idol, de Speridlabs, transforma una fotografía, un render o una imagen generada de un objeto en un splat gaussiano 3D que se puede rotar. Predice las partes no visibles del objeto y exporta un PLY 3DGS estándar que contiene entre 32.768 y 1.048.576 gaussianas. Su atractivo práctico es un SDK público de inferencia con densidad de salida controlable y requisitos de memoria de GPU de consumo, en lugar de una sesión obligatoria de captura multivista. Página oficial de investigación.

La comparación de los autores utiliza una H100 por modelo. Con 50 pasos de muestreo y 262.144 gaussianas, Idol informa de 6,8 segundos por solicitud, un SSIM de la vista de entrada de 0,726 y una similitud DINOv2 de siete vistas nuevas de 0,781, frente a los valores de TRELLIS de 0,716 y 0,754 con su configuración indicada de 50 + 50 pasos. LGM es más rápido, con 1,1 segundos, por lo que Idol no lidera en todas las métricas. Estos son resultados informados por los autores; la comparación mostrada no identifica ningún conjunto de datos de referencia ni cantidad de muestras con nombre. Referencia.

Una tabla de tiempos independiente informa de 19,1 segundos en una RTX 4090 con la misma configuración de 50 pasos y 262.144 gaussianas, tomando la mediana de ocho imágenes. La tarjeta del modelo informa de un uso máximo de memoria de 7,2 GB. Por tanto, su titular de «menos de dos segundos» no debe interpretarse como el tiempo de ejecución medido de esta configuración estándar en una 4090. Tarjeta del modelo y configuración del hardware.

Cómo funciona

La ruta de inferencia es preparación de la imagen → codificación dual de la imagen → muestreo conjunto del flujo del objeto y la cámara → colocación de anclajes en octree → decodificación gaussiana → exportación del PLY y de la cámara. BiRefNet elimina el fondo y el objeto se encuadra en 1024 × 1024 píxeles. Los modos de fotografía y sintético utilizan márgenes de recorte distintos, 1,7 y 1,2 respectivamente. Pipeline.

DINOv3 proporciona tokens de características visuales, mientras que el VAE de FLUX.2 proporciona información de imagen comprimida. Después de proyectar ambos en la dimensión de trabajo del transformador, sus embeddings se suman para formar el condicionamiento de imagen. La generación comienza a partir de dos tensores aleatorios: un latente del objeto con 8.192 tokens de 16 canales y un token de cámara de cinco canales. Los flujos se refinan por separado antes de que la atención conjunta procese juntos los tokens latentes, de imagen y de cámara. El modelo predice velocidades tanto para el objeto como para la cámara, haciendo que el punto de vista forme parte de la generación en lugar de ser una entrada asumida de forma independiente. Implementación del transformador.

El muestreador integra el flujo rectificado desde el ruido en t = 1 hasta los datos en t = 0 mediante pasos de Euler. Los valores predeterminados son 50 pasos, un parámetro de guía w = 3 y un desplazamiento temporal de 3. La ecuación de guía real es v = (1 + w)v_cond − wv_uncond; la cuadrícula temporal desplazada asigna más pasos cerca de un nivel de ruido alto. Estas operaciones modifican el latente compacto y el estado de la cámara, no millones de gaussianas explícitas en cada iteración. Muestreador de flujo.

La decodificación expande espacialmente ese resultado compacto. Un decodificador de octree se condiciona al latente del objeto y distribuye una cantidad solicitada de anclajes entre ocho celdas hijas en cada nivel. Un decodificador gaussiano lee el mismo latente mediante atención cruzada y emite 32 gaussianas por anclaje, prediciendo desplazamientos de posición, color, escala, rotación y opacidad. Por tanto, 262.144 gaussianas requieren 8.192 anclajes. La densidad de salida se controla durante la decodificación; no es el número de tokens latentes ni un nivel de subdivisión de malla. Decodificadores.

El denoiser contiene 370,6 millones de parámetros y los dos decodificadores aproximadamente 288,1 millones, lo que supone alrededor de 0,66 mil millones para esos componentes principales. Al incluir los codificadores de imagen y la eliminación del fondo, la solicitud completa alcanza aproximadamente 1,80 mil millones de parámetros. El SDK devuelve el splat, la imagen de entrada procesada y los parámetros de cámara predichos. Las optimizaciones de GPU compilan el denoiser y agrupan las pasadas condicionales y no condicionales, con un coste de inicio adicional en la primera generación. Desglose de componentes y ejecución.

Aplicaciones, disponibilidad y direcciones futuras

La salida es adecuada para previsualizaciones de objetos basadas en splats, presentaciones interactivas y experimentos de generación de imagen a 3D. Un PLY gaussiano no es una malla poligonal estanca, un sólido CAD ni un personaje riggeado automáticamente. Las superficies ocultas se infieren en lugar de medirse. El SDK y los pesos se publican con la licencia Apache-2.0, mientras que los componentes de codificación DINOv3 y FLUX.2 requeridos necesitan acceso restringido independiente y están sujetos a sus términos aplicables. Requisitos de publicación y acceso.

Esta reseña utiliza la página oficial de investigación, la tarjeta del modelo y el commit 4702a7f del SDK, comprobados el 6 de noviembre de 2026. No se encontró ningún documento técnico independiente ni una hoja de ruta explícita de trabajo futuro específica de Idol en esos materiales. El repositorio inspeccionado proporciona inferencia y una demo, por lo que sus elementos internos no establecen una receta de entrenamiento no divulgada. No se volvió a ejecutar ninguna inferencia del modelo ni ninguna referencia para este artículo.