SeMo3D: Menyatukan Pembuatan, Penyuntingan, dan Penyempurnaan 3D melalui Pemodelan Selektif

Sorotan dan Hasil: Mengubah Hal yang Penting

Makalah asli: ​SeMo3D: Menyatukan Pembuatan, Penyuntingan, dan Penyelesaian 3D melalui Pemodelan Selektif

SeMo3D, yang diperkenalkan oleh para peneliti di Universitas Nanjing, menyatukan ​pembuatan 3D, penyuntingan lokal, dan penyelesaian dalam satu kerangka kerja​. Bagi tim yang mengeksplorasi pembuatan aset dengan AI, janji utamanya adalah kesinambungan: membuat objek, merevisi wilayah yang dipilih, atau merekonstruksi bagian yang hilang sambil mempertahankan konteks yang ada. Namanya merupakan singkatan dari ​Selective Modeling​, sebuah strategi yang menjadikan wilayah yang akan disintesis sebagai antarmuka umum di antara tugas-tugas ini. Repositori resmi.

Pada Toys4K, penulis melaporkan Chamfer Distance geometris sebesar 0.0118 dibandingkan 0.0330 milik TRELLIS.2 (lebih rendah lebih baik). Pelestarian hasil penyuntingan mencapai 37.39 dB ​PSNR​​​ dibandingkan 31.55 dB milik VoxHammer​. F-score penyelesaian mencapai 0.541 dibandingkan 0.412 milik HY3D-Omni dengan panduan titik tambahan. Input yang didukung berbeda-beda antar-metode, dan petunjuk titik berasal dari ground truth; perbandingan ini tidak mengisolasi peningkatan arsitektur. Makalah, Tabel 1–3.

Cara Kerjanya: Memilih, Menyintesis, Mempertahankan

Abstraksi utamanya membagi aset menjadi wilayah yang dipilih S dan konteks yang dipertahankan ​C​. Pembuatan memilih semuanya; penyuntingan memilih target; penyelesaian memilih bagian yang hilang. Untuk sebuah kursi, antarmuka yang sama dapat membuat seluruh kursi, mengganti sandarannya, atau merekonstruksi kaki yang tidak ada. Ini adalah contoh penggunaan ilustratif dari definisi tugas. Model mempelajari masalah sintesis regional bersama, alih-alih memerlukan resep pelatihan khusus untuk setiap tugas. Ikhtisar repositori.

SeMo3D melakukan fine-tuning pada tiga model flow milik TRELLIS.2 menggunakan Trellis-500K dan menggunakan kembali SC-VAE-nya. Struktur sparse memprediksi okupansi pada ​grid laten ​16³​; bentuk dan tekstur beroperasi pada posisi yang terisi dalam ​grid ​32³​, menghasilkan geometri dan material PBR. Mask ditransfer di seluruh tahap. Dengan demikian, penyatuan tugas tetap menggunakan tiga model khusus tahap. Makalah, detail metode dan pelatihan.

Denoising selektif-wilayah membuat contoh pelatihan dari aset biasa. Sebuah wilayah acak diberi noise sementara area di sekitarnya tetap bersih; hanya prediksi di wilayah tersebut yang berkontribusi pada loss. Pelatihan mencakup kotak lokal hingga aset lengkap, sehingga tidak memerlukan dataset penyuntingan atau penyelesaian berpasangan sebelum dan sesudah. Saat inferensi, token yang dipilih dimulai dari noise dan berkembang di bawah panduan, sementara token konteks asli digunakan kembali pada setiap langkah. Oleh karena itu, model dapat berkonsultasi dengan seluruh objek tanpa menyintesis ulang semuanya. Penjelasan metode resmi.

Omni3DiT membuat input campuran tersebut dapat dipahami. Embedding peran mengidentifikasi token yang dipilih dan token konteks. Cabang-cabang cross-attention paralel memasukkan fitur gambar DINOv3 dan fitur teks CLIP; token titik masuk ke self-attention pada tahap struktur sparse. Gambar memandu tampilan, teks menambahkan maksud semantik, dan titik membatasi tata letak spasial. Condition dropout memvariasikan panduan yang tersedia selama pelatihan, sehingga mendorong model menggunakan sinyal-sinyal yang saling melengkapi. Diagram arsitektur resmi.

Gambar tetap wajib ada. Pembuatan menggunakan 12 langkah Euler per tahap; penyuntingan/penyelesaian menggunakan 50 langkah untuk struktur dan 12 untuk bentuk serta tekstur. Pelestarian ketat berlaku pada token laten, bukan pada setiap vertex hasil dekode. Makalah dan lampiran inferensi.

Aplikasi dan Kelanjutannya

Peluang praktisnya adalah pekerjaan iteratif: mengeksplorasi varian prop, memperbaiki referensi yang tidak lengkap, dan menyempurnakan aset melalui instruksi berturut-turut. Proyek resmi ini juga mendemonstrasikan alur kerja agen yang menyiapkan gambar referensi, mengidentifikasi wilayah penyuntingan, dan memanggil SeMo3D. Hal ini menunjukkan pembagian kerja yang berguna: agen menerjemahkan maksud menjadi permintaan pemodelan, sementara model 3D menangani sintesis regional. Demonstrasi proyek interaktif.

Kesiapan masih terbatas. Saat diperiksa pada 6 November 2026, ​repositori resmi​​ berisi dokumentasi dan aset demonstrasi; bobot serta kode pelatihan, inferensi, dan evaluasi belum dirilis. Lisensi MIT-nya tidak menetapkan ketentuan lisensi untuk bobot yang akan datang. Artikel ini mengulas makalah dan repositori yang tersedia, tanpa mengklaim reproduksi independen. Daftar periksa rilis.

Penulis mengidentifikasi dua arah penelitian. Representasi 3D dengan fidelitas lebih tinggi dapat menangkap struktur tipis seperti pelepah palem dengan lebih baik, yang sulit diselesaikan oleh laten terstruktur saat ini. Encoder visi-bahasa yang lebih kuat dapat meningkatkan pemahaman terhadap prompt komposisional yang kompleks; makalah ini menunjukkan buah berwarna oranye menjadi tekstur oranye, bukan objek terpisah. Keterbatasan dan Pekerjaan Mendatang. Tonggak rilis proyek yang tersisa adalah ​bobot model di Hugging Face serta kode inferensi, pelatihan, dan evaluasi yang lengkap​. Daftar TODO resmi.