PartBloom: パーツで作られた 3D モデル

ハイライトと結果：1 枚の画像から個別パーツへ

PartBloom は、1 枚の画像を個別パーツに分かれた 3D モデルへ変換するオープンソースのフレームワークです。その中核となる考え方はシンプルです。まず LLM が構造を構築し、次に TRELLIS がディテールを追加します。パーツは機能と相対的な動きをもとに計画されるため、車体や車輪などのコンポーネントを個別に書き出せます。粗いモデルでは開口部や接続部の維持を目指しており、結果を編集、置換、組み立てしやすくしています。

このプロジェクトでは、1 枚の画像から生成した 14 の例、生成結果と分解結果の比較、リギング済みアニメーションのデモが紹介されています。以下の 2 つの図は、全体的なディテールとパーツの境界を示しています。これらの定性的な例は可能性を示唆するものですが、他の手法に対する一貫した優位性を証明するものではありません。この記事は README とソースコードをもとにしており、生成テストは実行していません。

動作の仕組み：計画、精錬、パーツのデコード

最初の段階では、3 つの LLM 役割を統括します。Planner は、機能、バウンディングボックス、親子関係、接続位置、想定される動きを記述したパーツグラフを作成します。次に Builder が、ポリゴン、ブラシ、移動、消去ツールを使い、共有された 64³ グリッド上で各パーツのバイナリボクセルマスクを編集します。ブロックを組み立てるように、これらの操作によって実際の粗いジオメトリが作成されます。Reviewer は、参照画像とプロキシの 4 方向ビューを比較し、プロポーション、不足しているパーツ、接続部、開口部を確認します。最大 2 回の修復ラウンドをトリガーできます。

第 2 段階では、事前学習済みの TRELLIS の重みを再利用します。粗いモデルの結合されたサーフェスサポート座標は、6 つの面隣接方向に沿って 1 セル分拡張され、その後、疎構造 VAE によって構造潜在表現へエンコードされます。このエンコード結果をガウスノイズと混合した後、フローモデルはデフォルトで 12 ステップかけて t=0.65 から t=0 までサンプリングし、参照画像に導かれながら精錬された構造をデコードします。そのためプロキシは編集可能な空間的事前情報を提供しますが、精錬によって小さなパーツが削除される可能性は残ります。

距離ベースの割り当てと連結領域の成長によって、パーツラベルが精錬後の構造へ転送されます。次にパイプラインは、オブジェクト全体に対して共有された 1 つの SLat をサンプリングします。これは空間座標に関連付けられた特徴の集合です。これらは別々の処理です。構造潜在表現はプロキシから初期化されますが、詳細な SLat は新たに生成されます。デフォルトの parts モードでは、パーツラベルによって特徴を選択し、個別のメッシュへデコードします。joint モードでは、完全な SLat をより高解像度の特徴へデコードしてから、各パーツのメッシュを抽出します。共有された生成コンテキストは一貫性を支えますが、継ぎ目が正しくなることを保証するものではありません。

外観は、ガウスデコード、マルチビューレンダリング、テクスチャベイク処理を通じて、同じ SLat における各パーツのスライスから生成されます。出力にはベイク済みのベースカラーが含まれますが、完全な PBR マテリアルセットと見なすべきではありません。成果物には、計画データとプロキシデータ、独立したメッシュ、パーツごとにテクスチャが付いた GLB、組み立て済みの assembly_textured.glb、プレビュー画像、実行ログが含まれます。これらを組み合わせることで、検査、編集、トラブルシューティングを行えます。

アプリケーションと展望：個別パーツから実用的なアセットへ

想定される用途には、アニメーションのプロトタイピング、製品の分解表示、組み立て教育などがあります。個別のメッシュには、スケルタルアニメーション用のリギングがなお必要です。物理的なプリントにも、公差、接合部、壁厚への対応が必要です。見えないジオメトリは 1 枚の画像から推定されるため、出力を正確なリバースエンジニアリングの結果として扱うべきではありません。

デプロイには、LLM API、CUDA 環境、TRELLIS と DINOv2 の重み、Blender 4.5 が必要です。PartBloom リポジトリは MIT ライセンスを採用していますが、その PhysX-Omni 依存関係には S-Lab License 1.0 が適用され、商用利用が制限されています。

公式ロードマップには、リギングと TRELLIS.2 への移行が含まれています。今後の研究では、マルチビュー制約、接続チェック、局所的な再生成を検討できるでしょう。パーツ保持率、継ぎ目の品質、実行時間、コストを測定することで、このアプローチがどの程度安定して本番ワークフローを支援できるかを明らかにする助けになります。

出典：リポジトリとロードマップ；エージェントプロンプト；精錬パイプライン；テクスチャの書き出し。