Idol: Одно изображение в 3D-гауссовы сплаты

Основные моменты и результаты

Idol от Speridlabs преобразует фотографию, рендер или сгенерированное изображение одного объекта в вращаемый 3D Gaussian splat. Он предсказывает невидимые стороны объекта и экспортирует стандартный 3DGS PLY, содержащий от 32 768 до 1 048 576 гауссиан. Практическая привлекательность модели заключается в общедоступном SDK инференса с управляемой плотностью вывода и требованиями к памяти потребительского GPU, а не в обязательной сессии съёмки с нескольких ракурсов. Официальная исследовательская страница.

В сравнении авторов для каждой модели используется один H100. При 50 шагах семплирования и 262 144 гауссианах Idol показывает 6,8 секунды на запрос, SSIM входного ракурса 0,726 и сходство DINOv2 для семи новых ракурсов 0,781, тогда как у TRELLIS эти показатели составляют 0,716 и 0,754 при указанной конфигурации 50 + 50 шагов. LGM работает быстрее — 1,1 секунды, поэтому Idol не лидирует по каждой метрике. Это результаты, приведённые авторами; в отображаемом сравнении не указаны конкретный набор данных бенчмарка или размер выборки. Бенчмарк.

В отдельной таблице времени указано 19,1 секунды на RTX 4090 при той же конфигурации: 50 шагов и 262 144 гауссианы; значение представляет медиану по восьми изображениям. В карточке модели указано пиковое потребление памяти 7,2 ГБ. Поэтому заголовок «менее двух секунд» не следует интерпретировать как измеренное время работы стандартной конфигурации на 4090. Карточка модели и настройки оборудования.

Принцип работы

Путь инференса выглядит так: подготовка изображения → двойное кодирование изображения → совместное семплирование потока объекта и камеры → размещение якорей октодерева → декодирование гауссиан → экспорт PLY и параметров камеры. BiRefNet удаляет фон, а объект помещается в кадр размером 1024 × 1024 пикселя. В режимах фотографии и синтетического изображения используются разные поля кадрирования: соответственно 1,7 и 1,2. Конвейер.

DINOv3 предоставляет токены визуальных признаков, а VAE FLUX.2 — сжатую информацию об изображении. После проекции в рабочую размерность трансформера их эмбеддинги складываются, формируя обусловливание изображения. Генерация начинается с двух случайных тензоров: латентного представления объекта с 8 192 токенами по 16 каналов и токена камеры из пяти каналов. Потоки уточняются по отдельности, после чего совместное внимание обрабатывает латентные токены, токены изображения и токены камеры вместе. Модель предсказывает скорости как для объекта, так и для камеры, благодаря чему ракурс становится частью генерации, а не независимо заданным входом. Реализация трансформера.

Семплер интегрирует rectified flow от шума при t = 1 к данным при t = 0, используя шаги Эйлера. Значения по умолчанию: 50 шагов, параметр guidance w = 3 и сдвиг времени 3. Фактическое уравнение guidance имеет вид v = (1 + w)v_cond − wv_uncond; сдвинутая временная сетка выделяет больше шагов для области высокого уровня шума. Эти операции изменяют компактное латентное представление и состояние камеры, а не миллионы явных гауссиан на каждой итерации. Семплер потока.

Декодирование пространственно расширяет этот компактный результат. Декодер октодерева получает на вход латентное представление объекта и распределяет заданное число якорей между восемью дочерними ячейками на каждом уровне. Декодер гауссиан считывает то же латентное представление через перекрёстное внимание и выдаёт 32 гауссианы на якорь, предсказывая смещения позиции, цвет, масштаб, вращение и непрозрачность. Таким образом, для 262 144 гауссиан требуется 8 192 якоря. Плотность вывода управляется при декодировании; это не количество латентных токенов и не уровень разбиения сетки. Декодеры.

Деноизер содержит 370,6 млн параметров, а два декодера — примерно 288,1 млн, что даёт около 0,66 млрд для этих основных компонентов. С учётом кодировщиков изображений и удаления фона полный запрос включает примерно 1,80 млрд параметров. SDK возвращает splat, обработанное входное изображение и предсказанные параметры камеры. Оптимизации GPU компилируют деноизер и объединяют условные и безусловные проходы в пакет, при этом первая генерация сопровождается дополнительными начальными затратами. Учёт компонентов и время выполнения.

Применения, доступность и дальнейшие направления

Результат подходит для предпросмотра объектов на основе splat, интерактивных презентаций и экспериментов с генерацией 3D по изображению. Gaussian PLY не является герметичной полигональной сеткой, твёрдым телом CAD или автоматически оснащённым ригом персонажем. Скрытые поверхности выводятся, а не измеряются. SDK и веса опубликованы с обозначением Apache-2.0, тогда как необходимые компоненты кодировщиков DINOv3 и FLUX.2 требуют отдельного доступа с ограничениями и соблюдения применимых условий. Требования к публикации и доступу.

В этом обзоре использованы официальная исследовательская страница, карточка модели и коммит SDK 4702a7f, проверенные 6 ноября 2026 года. В этих материалах не обнаружено отдельной технической статьи или явно сформулированной дорожной карты будущих работ именно для Idol. В исследованном репозитории представлены инференс и демоверсия, поэтому его внутреннее устройство не подтверждает наличие нераскрытого рецепта обучения. Для этой статьи повторно не запускались ни инференс модели, ни бенчмарк.