Ідол: одне зображення у 3D-гаусові сплати

Основні моменти та результати

Idol від Speridlabs перетворює фотографію, рендер або згенероване зображення одного об’єкта на обертовий 3D-гауссовий сплат. Він прогнозує невидимі сторони об’єкта та експортує стандартний 3DGS PLY, що містить від 32 768 до 1 048 576 гауссіанів. Практична привабливість полягає в загальнодоступному SDK для інференсу з керованою щільністю вихідних даних і вимогами до пам’яті споживчого GPU, а не в обов’язковій сесії захоплення з кількох ракурсів. Офіційна дослідницька сторінка.

Порівняння авторів використовує по одному H100 на модель. За 50 кроків семплювання та 262 144 гауссіанів Idol повідомляє 6,8 секунди на запит, SSIM вхідного ракурсу 0,726 і схожість DINOv2 для семи нових ракурсів 0,781, тоді як у TRELLIS ці показники становлять 0,716 і 0,754 за вказаного режиму 50 + 50 кроків. LGM працює швидше — 1,1 секунди, тож Idol не лідирує за кожною метрикою. Це результати, повідомлені авторами; у наведеному порівнянні не вказано названий набір даних для бенчмарку або кількість зразків. Бенчмарк.

Окрема таблиця часу виконання показує 19,1 секунди на RTX 4090 за того самого режиму: 50 кроків і 262 144 гауссіани, із медіаною для восьми зображень. У картці моделі вказано пікове використання пам’яті 7,2 ГБ. Тому заголовок «менше двох секунд» не слід сприймати як виміряний час виконання цієї стандартної конфігурації 4090. Картка моделі та апаратні налаштування.

Як це працює

Шлях інференсу: підготовка зображення → подвійне кодування зображення → спільне семплювання потоку об’єкта й камери → розміщення якорів октодерева → декодування гауссіанів → експорт PLY і камери. BiRefNet видаляє фон, а об’єкт кадрується до 1024 × 1024 пікселів. Фоторежим і синтетичний режим використовують різні поля обрізання — відповідно 1,7 і 1,2. Конвеєр.

DINOv3 надає токени візуальних ознак, а VAE FLUX.2 — стиснену інформацію про зображення. Після проєкції до робочої розмірності трансформера їхні вкладення додаються для формування обумовлення зображення. Генерація починається з двох випадкових тензорів: латентного представлення об’єкта з 8 192 токенами по 16 каналів і п’ятиканального токена камери. Потоки уточнюються окремо, перш ніж спільна увага обробляє разом латентні токени, токени зображення й токени камери. Модель прогнозує швидкості як для об’єкта, так і для камери, завдяки чому ракурс стає частиною генерації, а не незалежно припущеним входом. Реалізація трансформера.

Семплер інтегрує виправлений потік від шуму при t = 1 до даних при t = 0 за допомогою кроків Ейлера. Значення за замовчуванням: 50 кроків, параметр керування w = 3 і часовий зсув 3. Фактичне рівняння керування має вигляд v = (1 + w)v_cond − wv_uncond; зміщена часова сітка розподіляє більше кроків поблизу високого рівня шуму. Ці операції змінюють компактне латентне представлення та стан камери, а не мільйони явних гауссіанів на кожній ітерації. Семплер потоку.

Декодування просторово розширює цей компактний результат. Декодер октодерева враховує латентне представлення об’єкта та розподіляє запитану кількість якорів між вісьмома дочірніми комірками на кожному рівні. Декодер гауссіанів зчитує те саме латентне представлення через перехресну увагу й видає 32 гауссіани на якір, прогнозуючи зміщення позиції, колір, масштаб, обертання та непрозорість. Отже, для 262 144 гауссіанів потрібно 8 192 якорі. Щільність вихідних даних контролюється під час декодування; це не кількість латентних токенів і не рівень поділу сітки. Декодери.

Денойзер містить 370,6 млн параметрів, а два декодери — приблизно 288,1 млн, що дає близько 0,66 млрд для цих основних компонентів. Разом із кодерами зображень і видаленням фону повний запит містить приблизно 1,80 млрд параметрів. SDK повертає сплат, оброблене вхідне зображення та прогнозовані параметри камери. Оптимізації GPU компілюють денойзер і пакетно обробляють умовні та безумовні проходи, із додатковими витратами під час запуску для першої генерації. Облік компонентів і час виконання.

Застосування, доступність і майбутні напрямки

Результат підходить для попереднього перегляду об’єктів на основі сплатів, інтерактивних презентацій і експериментів із генерацією зображення в 3D. Gaussian PLY не є водонепроникною полігональною сіткою, твердотільною CAD-моделлю або автоматично оснащеним персонажем. Приховані поверхні виводяться, а не вимірюються. SDK і ваги опубліковані з позначенням Apache-2.0, тоді як необхідні компоненти кодерів DINOv3 і FLUX.2 потребують окремого доступу з обмеженнями та дотримання відповідних умов. Випуск і вимоги доступу.

Цей огляд використовує офіційну дослідницьку сторінку, картку моделі та коміт SDK 4702a7f, перевірені 6 листопада 2026 року. У цих матеріалах не знайдено окремої технічної статті або чіткої дорожньої карти майбутніх робіт саме для Idol. Перевірений репозиторій містить інференс і демо, тому його внутрішні компоненти не підтверджують нерозкритий рецепт навчання. Для цієї статті не було повторно виконано інференс моделі або бенчмарк.