Idol: 단일 이미지에서 3D Gaussian Splats 로

주요 내용 및 결과

Speridlabs의 Idol은 하나의 객체를 촬영한 사진, 렌더링 이미지 또는 생성 이미지를 회전 가능한 3D Gaussian splat으로 변환합니다. 보이지 않는 객체의 측면을 예측하고 32,768~1,048,576개의 Gaussian을 포함하는 표준 3DGS PLY를 내보냅니다. 실용적인 장점은 필수 다중 뷰 캡처 세션이 아니라, 출력 밀도와 소비자용 GPU 메모리 요구 사항을 제어할 수 있는 공개 추론 SDK라는 점입니다. 공식 연구 페이지.

저자들의 비교에서는 각 모델에 H100 한 개를 사용합니다. 50개 샘플링 단계와 262,144개의 Gaussian에서 Idol은 요청당 6.8초, 입력 뷰 SSIM 0.726, 7개 신규 뷰의 DINOv2 유사도 0.781을 보고합니다. 이는 명시된 50 + 50단계 설정에서 TRELLIS가 기록한 0.716 및 0.754와 비교되는 수치입니다. LGM은 1.1초로 더 빠르므로 Idol이 모든 지표에서 앞서는 것은 아닙니다. 이 결과는 저자들이 보고한 수치이며, 표시된 비교에서는 이름이 지정된 벤치마크 데이터 세트나 샘플 수를 확인할 수 없습니다. 벤치마크.

별도의 시간 측정 표에서는 동일한 50단계, 262,144 Gaussian 설정에서 RTX 4090으로 19.1초가 걸린다고 보고하며, 8개 이미지의 중앙값을 사용합니다. 모델 카드에서는 최대 메모리 사용량을 7.2 GB로 보고합니다. 따라서 “2초 이내”라는 헤드라인을 이 표준 4090 구성에서 측정된 실행 시간으로 해석해서는 안 됩니다. 모델 카드 및 하드웨어 설정.

작동 방식

추론 경로는 이미지 준비 → 이중 이미지 인코딩 → 객체와 카메라의 공동 플로 샘플링 → 옥트리 앵커 배치 → Gaussian 디코딩 → PLY 및 카메라 내보내기로 구성됩니다. BiRefNet이 배경을 제거하고 객체는 1024 × 1024 픽셀 크기에 맞춰집니다. 사진 모드와 합성 모드는 각각 1.7 및 1.2의 서로 다른 크롭 여백을 사용합니다. 파이프라인.

DINOv3는 시각적 특징 토큰을 제공하고, FLUX.2 VAE는 압축된 이미지 정보를 제공합니다. 트랜스포머의 작업 차원으로 프로젝션한 후 두 임베딩을 더해 이미지 조건을 형성합니다. 생성은 두 개의 무작위 텐서에서 시작합니다. 하나는 16개 채널의 8,192개 토큰으로 구성된 객체 잠재 변수이고, 다른 하나는 5채널 카메라 토큰입니다. 잠재 변수, 이미지, 카메라 토큰을 함께 처리하는 공동 어텐션이 적용되기 전에 각 스트림은 별도로 정제됩니다. 모델은 객체와 카메라 모두에 대한 속도를 예측하므로, 시점은 독립적으로 가정된 입력이 아니라 생성 과정의 일부가 됩니다. 트랜스포머 구현.

샘플러는 오일러 단계를 사용해 t = 1의 노이즈에서 t = 0의 데이터까지 정류된 플로를 적분합니다. 기본값은 50단계, 가이던스 매개변수 w = 3, 시간 시프트 3입니다. 실제 가이던스 방정식은 v = (1 + w)v_cond − wv_uncond이며, 시프트된 시간 그리드는 높은 노이즈 구간에 더 많은 단계를 할당합니다. 이러한 연산은 각 반복에서 수백만 개의 명시적 Gaussian이 아니라 압축된 잠재 변수와 카메라 상태를 변경합니다. 플로 샘플러.

디코딩은 이 압축된 결과를 공간적으로 확장합니다. 옥트리 디코더는 객체 잠재 변수를 조건으로 사용하고 각 레벨에서 요청된 수의 앵커를 8개의 자식 셀에 분배합니다. Gaussian 디코더는 크로스 어텐션을 통해 동일한 잠재 변수를 읽고 앵커당 32개의 Gaussian을 생성하며, 위치 오프셋, 색상, 크기, 회전 및 불투명도를 예측합니다. 따라서 262,144개의 Gaussian에는 8,192개의 앵커가 필요합니다. 출력 밀도는 디코딩 과정에서 제어되며, 잠재 토큰 수나 메시 세분화 레벨이 아닙니다. 디코더.

노이저에는 370.6M개의 파라미터가 포함되고 두 디코더에는 약 288.1M개가 포함되므로, 이러한 핵심 구성 요소의 합계는 약 0.66B입니다. 이미지 인코더와 배경 제거를 포함하면 전체 요청은 약 1.80B개의 파라미터에 해당합니다. SDK는 splat, 처리된 입력 이미지 및 예측된 카메라 파라미터를 반환합니다. GPU 최적화는 노이저를 컴파일하고 조건부 및 무조건부 패스를 배치 처리하며, 첫 번째 생성에는 추가 시작 비용이 발생합니다. 구성 요소 산정 및 실행 시간.

애플리케이션, 사용 가능 여부 및 향후 방향

출력은 splat 기반 객체 미리보기, 인터랙티브 프레젠테이션 및 이미지에서 3D를 생성하는 실험에 적합합니다. Gaussian PLY는 완전히 밀폐된 폴리곤 메시, CAD 솔리드 또는 자동으로 리깅된 캐릭터가 아닙니다. 숨겨진 표면은 측정된 것이 아니라 추론된 것입니다. SDK와 가중치는 Apache-2.0 라이선스 표기와 함께 공개되지만, 필요한 DINOv3 및 FLUX.2 인코더 구성 요소는 별도의 제한된 액세스와 해당 약관의 적용을 받습니다. 릴리스 및 액세스 요구 사항.

이 리뷰에서는 공식 연구 페이지, 모델 카드 및 SDK 커밋 4702a7f를 사용했으며, 2026년 11월 6일에 확인했습니다. 해당 자료에서 독립적인 기술 논문이나 Idol 전용의 명시적인 향후 작업 로드맵은 확인되지 않았습니다. 조사한 저장소는 추론 기능과 데모를 제공하므로, 내부 구현만으로 공개되지 않은 학습 레시피를 확정할 수는 없습니다. 이 글을 위해 모델 추론이나 벤치마크를 다시 실행하지 않았습니다.