アイドル：単一画像から 3D Gaussian Splats へ

ハイライトと結果

Speridlabs の Idol は、1 つのオブジェクトの写真、レンダー、または生成画像を、回転可能な 3D Gaussian splat に変換します。オブジェクトの見えない側面を予測し、32,768 ～ 1,048,576 個の Gaussian を含む標準的な 3DGS PLY を出力します。実用面での魅力は、必須のマルチビュー撮影セッションではなく、出力密度とコンシューマー向け GPU のメモリ要件を制御できる公開推論 SDK にあります。公式研究ページ

著者による比較では、各モデルに 1 基の H100 を使用しています。サンプリング 50 ステップ、262,144 個の Gaussian で、Idol は 1 リクエストあたり 6.8 秒、入力ビュー SSIM 0.726、7 つの新規ビューに対する DINOv2 類似度 0.781 を報告しています。一方、TRELLIS は記載された 50 + 50 ステップ設定でそれぞれ 0.716 と 0.754 でした。LGM は 1.1 秒とより高速であるため、Idol がすべての指標で優位に立つわけではありません。これらは著者が報告した結果であり、表示された比較では、名称付きのベンチマークデータセットやサンプル数は特定されていません。ベンチマーク

別の計測表では、同じ 50 ステップ、262,144 Gaussian 設定で、RTX 4090 上の処理時間を 19.1 秒と報告しており、8 枚の画像の中央値を使用しています。モデルカードではピークメモリを 7.2 GB と報告しています。したがって、「2 秒未満」という見出しは、この標準的な 4090 構成で計測された実行時間を示すものと解釈すべきではありません。モデルカードとハードウェア設定

仕組み

推論パスは、画像準備 → デュアル画像エンコーディング → オブジェクトとカメラの共同フローサンプリング → オクツリーアンカー配置 → Gaussian デコード → PLY とカメラのエクスポートです。BiRefNet が背景を除去し、オブジェクトは 1024 × 1024 ピクセルでフレーム内に配置されます。写真モードと合成モードでは異なるクロップ余白を使用し、それぞれ 1.7 と 1.2 です。パイプライン

DINOv3 は視覚特徴トークンを提供し、FLUX.2 VAE は圧縮画像情報を提供します。トランスフォーマーの作業次元に射影した後、それらの埋め込みを加算して画像条件を形成します。生成は 2 つのランダムテンソルから開始されます。1 つは 16 チャネルの 8,192 トークンを持つオブジェクト潜在変数、もう 1 つは 5 チャネルのカメラトークンです。潜在トークン、画像トークン、カメラトークンをまとめて共同アテンションで処理する前に、各ストリームを個別に精緻化します。モデルはオブジェクトとカメラの両方について速度を予測するため、視点は独立して仮定される入力ではなく、生成の一部となります。トランスフォーマー実装

サンプラーは、オイラーステップを用いて、t = 1 のノイズから t = 0 のデータまで整流フローを積分します。デフォルトは 50 ステップ、ガイダンスパラメーター w = 3、タイムシフト 3 です。実際のガイダンス式は v = (1 + w)v_cond − wv_uncond であり、シフトされた時間グリッドは高ノイズ付近により多くのステップを割り当てます。これらの処理が変更するのはコンパクトな潜在状態とカメラ状態であり、各反復で数百万個の明示的な Gaussian を処理するわけではありません。フローサンプラー

デコードでは、そのコンパクトな結果を空間的に展開します。オクツリーデコーダーはオブジェクト潜在変数を条件とし、各レベルで要求された数のアンカーを 8 個の子セルに分配します。Gaussian デコーダーはクロスアテンションを通じて同じ潜在変数を読み取り、アンカーごとに 32 個の Gaussian を出力し、位置オフセット、色、スケール、回転、透明度を予測します。したがって、262,144 個の Gaussian には 8,192 個のアンカーが必要です。出力密度はデコード時に制御され、潜在トークン数やメッシュの細分化レベルではありません。デコーダー

デノイザーには 370.6M 個のパラメーターがあり、2 つのデコーダーには合計で約 288.1M 個あります。これらのコアコンポーネントでは約 0.66B です。画像エンコーダーと背景除去を含めると、1 リクエスト全体ではおよそ 1.80B パラメーターになります。SDK は splat、処理済み入力画像、予測されたカメラパラメーターを返します。GPU 最適化ではデノイザーをコンパイルし、条件付きパスと無条件パスをバッチ処理しますが、初回生成時には追加の起動コストが発生します。コンポーネント内訳と実行時間

アプリケーション、提供状況、今後の方向性

出力は、splat ベースのオブジェクトプレビュー、インタラクティブなプレゼンテーション、画像から 3D への生成に関する実験に適しています。Gaussian PLY は、水密なポリゴンメッシュ、CAD ソリッド、または自動リギング済みキャラクターではありません。隠れた表面は測定されたものではなく推定されたものです。SDK と重みは Apache-2.0 ライセンス表示付きで公開されていますが、必要な DINOv3 と FLUX.2 のエンコーダーコンポーネントには、別途ゲート付きアクセスと、それぞれに適用される規約が必要です。リリースとアクセス要件

このレビューでは、公式研究ページ、モデルカード、SDK のコミット 4702a7f を使用し、2026 年 11 月 6 日に確認しました。これらの資料には、独立した技術論文や Idol 固有の明示的な今後の研究計画は見つかりませんでした。調査したリポジトリには推論機能とデモが含まれていますが、その内部実装から、非公開の学習レシピが明らかになるわけではありません。この記事のためにモデル推論やベンチマークを再実行してはいません。