PartBloom: Model 3D yang Dibuat dalam Beberapa Bagian

Sorotan dan Hasil: Dari Satu Gambar Menjadi Bagian-Bagian Terpisah

PartBloom adalah framework sumber terbuka yang mengubah satu gambar menjadi model 3D dengan bagian-bagian terpisah. Gagasan intinya sederhana: LLM membangun strukturnya, lalu TRELLIS menambahkan detail. Bagian-bagian direncanakan berdasarkan fungsi dan gerakan relatifnya, sehingga komponen seperti bodi kendaraan dan roda dapat diekspor secara terpisah. Model kasar berupaya mempertahankan bukaan dan koneksi, sehingga hasilnya lebih mudah diedit, diganti, dan dirakit.

Proyek ini menyajikan 14 contoh dari satu gambar, perbandingan generasi dan dekomposisi, serta demonstrasi animasi ber-rig. Dua gambar di bawah mengilustrasikan detail keseluruhan dan batas antarbagian. Contoh kualitatif ini menunjukkan potensi, tetapi tidak membuktikan keunggulan yang konsisten dibandingkan metode lain. Artikel ini didasarkan pada README dan kode sumber; kami belum menjalankan pengujian generasi.

Cara Kerjanya: Perencanaan, Penyempurnaan, dan Dekode Bagian

Tahap pertama mengorkestrasi tiga peran LLM. Planner menghasilkan graf bagian yang menjelaskan fungsi, kotak pembatas, hubungan induk–anak, lokasi koneksi, dan gerakan yang diharapkan. Builder kemudian mengedit mask voxel biner untuk setiap bagian dalam grid 64³ bersama menggunakan alat poligon, kuas, pindah, dan hapus. Seperti membangun dengan balok, operasi ini menghasilkan geometri kasar yang sebenarnya. Reviewer membandingkan gambar referensi dengan empat tampilan proxy, dengan memeriksa proporsi, bagian yang hilang, koneksi, dan bukaan. Reviewer dapat memicu hingga dua putaran perbaikan.

Tahap kedua menggunakan kembali bobot TRELLIS yang telah dilatih sebelumnya. Koordinat gabungan dukungan permukaan model kasar diperluas satu sel sepanjang enam arah tetangga bidang, lalu dienkode menjadi laten struktur oleh VAE struktur renggang. Setelah encoding ini dicampur dengan noise Gaussian, model flow mengambil sampel dari t=0.65 hingga t=0 dalam 12 langkah secara default, dipandu oleh gambar referensi, sebelum mendekode struktur yang telah disempurnakan. Dengan demikian, proxy menyediakan prior spasial yang dapat diedit, meskipun penyempurnaan tetap dapat menghapus bagian-bagian kecil.

Penetapan berbasis jarak dan pertumbuhan wilayah terhubung mentransfer label bagian ke struktur yang telah disempurnakan. Pipeline kemudian mengambil sampel satu SLat bersama untuk seluruh objek: sekumpulan fitur yang terkait dengan koordinat spasial. Kedua operasi ini berbeda—laten struktur diinisialisasi dari proxy, sedangkan SLat detail dibuat dari awal. Dalam mode bagian default, fitur dipilih berdasarkan label bagian dan didekode menjadi mesh terpisah. Dalam mode gabungan, SLat lengkap didekode menjadi fitur beresolusi lebih tinggi sebelum mesh setiap bagian diekstrak. Konteks generasi bersama mendukung konsistensi, tetapi tidak menjamin sambungan yang benar.

Tampilan berasal dari potongan setiap bagian pada SLat yang sama melalui dekode Gaussian, rendering multi-tampilan, dan baking tekstur. Output berisi warna dasar yang telah di-bake dan tidak boleh disalahartikan sebagai set material PBR lengkap. Hasil yang disediakan mencakup data perencanaan dan proxy, mesh independen, GLB bertekstur per bagian, assembly_textured.glb yang telah dirakit, gambar pratinjau, dan log proses. Secara keseluruhan, semua ini mendukung pemeriksaan, pengeditan, dan pemecahan masalah.

Aplikasi dan Prospek: Dari Bagian Terpisah Menjadi Aset yang Dapat Digunakan

Potensi penggunaan mencakup pembuatan prototipe animasi, tampilan produk terurai, dan edukasi perakitan. Mesh terpisah tetap memerlukan rigging untuk animasi rangka. Pencetakan fisik juga memerlukan pengerjaan terkait toleransi, antarmuka, dan ketebalan dinding. Karena geometri yang tidak terlihat disimpulkan dari satu gambar, output tidak boleh dianggap sebagai rekayasa balik yang presisi.

Deployment memerlukan API LLM, lingkungan CUDA, bobot TRELLIS dan DINOv2, serta Blender 4.5. Repositori PartBloom menggunakan lisensi MIT, tetapi dependensi PhysX-Omni menggunakan S-Lab License 1.0, yang membatasi penggunaan komersial.

Peta jalan resmi mencakup rigging dan perpindahan ke TRELLIS.2. Penelitian lebih lanjut dapat mengeksplorasi kendala multi-tampilan, pemeriksaan koneksi, dan regenerasi lokal. Pengukuran retensi bagian, kualitas sambungan, waktu proses, dan biaya akan membantu menentukan seberapa andal pendekatan ini dapat mendukung alur kerja produksi.

Sumber: Repositori dan peta jalan; Prompt agen; Pipeline penyempurnaan; Ekspor tekstur.