SeMo3D: Penyatuan Penjanaan, Penyuntingan dan Pelengkapan 3D melalui Pemodelan Terpilih

Sorotan dan Hasil: Mengubah Perkara yang Penting

Kertas asal: ​SeMo3D: Menyatukan Penjanaan, Penyuntingan dan Pelengkapan 3D melalui Pemodelan Selektif

SeMo3D, yang diperkenalkan oleh penyelidik di Universiti Nanjing, menggabungkan ​penjanaan 3D, penyuntingan setempat dan pelengkapan dalam satu rangka kerja​. Bagi pasukan yang meneroka penciptaan aset AI, janji utamanya ialah kesinambungan: mencipta objek, menyemak semula kawasan yang dipilih atau membina semula bahagian yang hilang sambil mengekalkan konteks sedia ada. Nama ini bermaksud ​Pemodelan Selektif​, iaitu strategi yang menjadikan kawasan untuk disintesis sebagai antara muka sepunya bagi tugas-tugas ini. Repositori rasmi.

Pada Toys4K, penulis melaporkan Chamfer Distance geometri sebanyak 0.0118 berbanding 0.0330 milik TRELLIS.2 (lebih rendah adalah lebih baik). Pengekalan penyuntingan mencapai 37.39 dB ​PSNR​​​ berbanding 31.55 dB milik VoxHammer​. F-score pelengkapan mencapai 0.541 berbanding 0.412 milik HY3D-Omni dengan panduan titik tambahan. Input yang disokong berbeza mengikut kaedah, dan petunjuk titik datang daripada kebenaran asas; perbandingan ini tidak mengasingkan peningkatan seni bina. Kertas, Jadual 1–3.

Cara Ia Berfungsi: Memilih, Mensintesis, Mengekalkan

Abstraksi utama membahagikan aset kepada kawasan yang dipilih S dan konteks yang dikekalkan ​C​. Penjanaan memilih segala-galanya; penyuntingan memilih sasaran; pelengkapan memilih perkara yang hilang. Untuk sebuah kerusi, antara muka yang sama boleh mencipta keseluruhan kerusi, menggantikan penyandar belakangnya atau membina semula kaki yang tiada. Ini ialah contoh penggunaan ilustratif bagi takrifan tugas. Model mempelajari masalah sintesis serantau yang dikongsi dan bukannya memerlukan resipi latihan khusus tugas yang berasingan. Gambaran keseluruhan repositori.

SeMo3D memperhalus tiga model aliran TRELLIS.2 pada Trellis-500K dan menggunakan semula SC-VAE miliknya. Struktur jarang meramalkan okupansi pada ​grid laten ​16³​; bentuk dan tekstur beroperasi pada kedudukan yang diduduki dalam ​grid ​32³​, lalu menghasilkan geometri dan bahan PBR. Topeng dipindahkan merentasi peringkat. Oleh itu, penyatuan tugas masih menggunakan tiga model khusus peringkat. Kertas, butiran kaedah dan latihan.

Penyahbisingan selektif kawasan mencipta contoh latihan daripada aset biasa. Kawasan rawak menerima hingar manakala persekitarannya kekal bersih; hanya ramalan di kawasan tersebut menyumbang kepada kehilangan. Latihan merangkumi kotak setempat hingga aset lengkap, tanpa memerlukan set data penyuntingan atau pelengkapan sebelum dan selepas yang berpasangan. Semasa inferens, token yang dipilih bermula daripada hingar dan berkembang di bawah panduan, manakala token konteks asal digunakan semula pada setiap langkah. Oleh itu, model boleh merujuk keseluruhan objek tanpa mensintesis semula kesemuanya. Penjelasan kaedah rasmi.

Omni3DiT menjadikan input campuran itu boleh difahami. Pembenaman peranan mengenal pasti token yang dipilih dan token konteks. Cabang perhatian silang selari menyuntik ciri imej DINOv3 dan ciri teks CLIP; token titik memasuki perhatian kendiri pada peringkat struktur jarang. Imej membimbing penampilan, teks menambah niat semantik, dan titik mengehadkan susun atur ruang. Gugur syarat mempelbagaikan panduan yang tersedia semasa latihan, sekali gus menggalakkan model menggunakan isyarat yang saling melengkapi. Rajah seni bina rasmi.

Imej kekal wajib. Penjanaan menggunakan 12 langkah Euler bagi setiap peringkat; penyuntingan/pelengkapan menggunakan 50 langkah untuk struktur dan 12 langkah untuk bentuk serta tekstur. Pengekalan ketat dikenakan pada token laten, bukan semestinya setiap bucu yang dinyahkod. Kertas dan lampiran inferens.

Aplikasi dan Perkara Seterusnya

Peluang praktikalnya ialah kerja berulang: meneroka variasi prop, membaiki rujukan yang tidak lengkap dan memperhalus aset melalui arahan berturutan. Projek rasmi itu turut menunjukkan aliran kerja ejen yang menyediakan imej rujukan, mengenal pasti kawasan suntingan dan menggunakan SeMo3D. Ini mencadangkan pembahagian tugas yang berguna: ejen menterjemahkan niat kepada permintaan pemodelan, manakala model 3D mengendalikan sintesis serantau. Demonstrasi projek interaktif.

Kesediaan masih terhad. Semakan pada 6 November 2026 mendapati ​repositori rasmi​​ mengandungi dokumentasi dan aset demonstrasi; pemberat serta kod latihan, inferens dan penilaian masih belum dikeluarkan. Lesen MITnya tidak menetapkan terma pelesenan bagi pemberat akan datang. Artikel ini mengulas kertas dan repositori yang tersedia, tanpa mendakwa penghasilan semula secara bebas. Senarai semak keluaran.

Penulis mengenal pasti dua hala tuju penyelidikan. Perwakilan 3D berfideliti lebih tinggi boleh menangkap struktur nipis seperti pelepah palma dengan lebih baik, yang sukar diselesaikan oleh laten berstruktur semasa. Pengekod penglihatan-bahasa yang lebih kukuh boleh meningkatkan pemahaman terhadap gesaan gubahan yang kompleks; kertas tersebut menunjukkan buah oren menjadi tekstur oren dan bukannya objek berasingan. Batasan dan Kerja Masa Hadapan. Pencapaian keluaran projek yang masih belum selesai ialah ​pemberat model di Hugging Face serta kod inferens, latihan dan penilaian yang lengkap​. Senarai TODO rasmi.