PartBloom: Model 3D Dibina Mengikut Bahagian

Sorotan dan Hasil: Daripada Satu Imej kepada Bahagian Berasingan

PartBloom ialah rangka kerja sumber terbuka yang menukarkan satu imej kepada model 3D dengan bahagian berasingan. Idea terasnya mudah: LLM membina strukturnya, kemudian TRELLIS menambah perincian. Bahagian dirancang berdasarkan fungsinya dan pergerakan relatif, membolehkan komponen seperti badan kenderaan dan roda dieksport secara berasingan. Model kasar berusaha mengekalkan bukaan dan sambungan, menjadikan hasilnya lebih mudah untuk disunting, diganti dan dipasang.

Projek ini mempersembahkan 14 contoh daripada satu imej, perbandingan penjanaan dan penguraian, serta demonstrasi animasi berangker. Dua rajah di bawah menggambarkan perincian keseluruhan dan sempadan bahagian. Contoh kualitatif ini menunjukkan potensi, tetapi tidak membuktikan keunggulan yang konsisten berbanding kaedah lain. Artikel ini berdasarkan README dan kod sumber; kami tidak menjalankan ujian penjanaan.

Cara Ia Berfungsi: Perancangan, Penambahbaikan dan Penyahkodan Bahagian

Peringkat pertama menyelaraskan tiga peranan LLM. Planner menghasilkan graf bahagian yang menerangkan fungsi, kotak sempadan, hubungan induk–anak, lokasi sambungan dan pergerakan yang dijangka. Builder kemudiannya menyunting topeng voxel binari bagi setiap bahagian dalam grid 64³ dikongsi menggunakan alat poligon, berus, gerak dan padam. Seperti membina dengan blok, operasi ini menghasilkan geometri kasar sebenar. Reviewer membandingkan imej rujukan dengan empat pandangan proksi, sambil memeriksa perkadaran, bahagian yang hilang, sambungan dan bukaan. Ia boleh mencetuskan sehingga dua pusingan pembaikan.

Peringkat kedua menggunakan semula pemberat TRELLIS yang telah dilatih. Koordinat sokongan permukaan gabungan model kasar dikembangkan sebanyak satu sel sepanjang enam arah jiran muka, kemudian dikodkan menjadi laten struktur oleh VAE struktur jarang. Selepas pengekodan ini dicampurkan dengan hingar Gaussian, model aliran mengambil sampel daripada t=0.65 hingga t=0 dalam 12 langkah secara lalai, dipandu oleh imej rujukan, sebelum menyahkod struktur yang diperhalus. Oleh itu, proksi menyediakan prior ruang yang boleh disunting, walaupun penambahbaikan masih boleh membuang bahagian kecil.

Penetapan berasaskan jarak dan pertumbuhan rantau bersambung memindahkan label bahagian kepada struktur yang diperhalus. Saluran paip kemudiannya mengambil sampel satu SLat dikongsi untuk keseluruhan objek: satu set ciri yang dikaitkan dengan koordinat ruang. Ini ialah operasi yang berbeza—laten struktur dimulakan daripada proksi, manakala SLat terperinci dijana semula. Dalam mod bahagian lalai, ciri dipilih mengikut label bahagian dan dinyahkod menjadi jejaring berasingan. Dalam mod bersama, SLat penuh dinyahkod menjadi ciri beresolusi lebih tinggi sebelum mengekstrak jejaring setiap bahagian. Konteks penjanaan dikongsi menyokong konsistensi, tetapi tidak menjamin sambungan yang betul.

Penampilan datang daripada hirisan setiap bahagian dalam SLat yang sama melalui penyahkodan Gaussian, pemaparan berbilang pandangan dan pembakaran tekstur. Output mengandungi warna asas yang telah dibakar dan tidak sepatutnya disalah anggap sebagai set bahan PBR lengkap. Hasil penghantaran merangkumi data perancangan dan proksi, jejaring bebas, GLB bertekstur bagi setiap bahagian, assembly_textured.glb yang telah dipasang, imej pratonton dan log larian. Kesemuanya menyokong pemeriksaan, penyuntingan dan penyelesaian masalah.

Aplikasi dan Prospek: Daripada Bahagian Berasingan kepada Aset yang Boleh Digunakan

Kegunaan berpotensi termasuk prototaip animasi, paparan produk terlerai dan pendidikan pemasangan. Jejaring berasingan masih memerlukan pengarikan untuk animasi rangka. Percetakan fizikal juga memerlukan usaha berkaitan tolerans, antara muka dan ketebalan dinding. Oleh sebab geometri yang tidak kelihatan disimpulkan daripada satu imej, output tidak sepatutnya dianggap sebagai kejuruteraan balik yang tepat.

Penggunaan memerlukan API LLM, persekitaran CUDA, pemberat TRELLIS dan DINOv2, serta Blender 4.5. Repositori PartBloom menggunakan lesen MIT, tetapi kebergantungan PhysX-Omni menggunakan S-Lab License 1.0, yang mengehadkan penggunaan komersial.

Pelan hala tuju rasmi merangkumi pengarikan dan peralihan kepada TRELLIS.2. Penyelidikan lanjut boleh meneroka kekangan berbilang pandangan, pemeriksaan sambungan dan penjanaan semula setempat. Pengukuran pengekalan bahagian, kualiti sambungan, masa jalan dan kos akan membantu menentukan sejauh mana pendekatan ini boleh menyokong aliran kerja pengeluaran dengan boleh dipercayai.

Sumber: Repositori dan pelan hala tuju; Gesaan ejen; Saluran paip penambahbaikan; Eksport tekstur.