SeMo3D: Seçici Modelleme ile 3B Oluşturma, Düzenleme ve Tamamlamayı Birleştirme

Öne Çıkanlar ve Sonuçlar: Önemli Olanı Değiştirmek

Orijinal makale: ​SeMo3D: Seçici Modelleme Yoluyla 3B Üretim, Düzenleme ve Tamamlamayı Birleştirme

Nanjing Üniversitesi'ndeki araştırmacılar tarafından tanıtılan SeMo3D, ​3B üretimi, yerel düzenlemeyi ve tamamlamayı tek bir çerçevede bir araya getiriyor​. Yapay zekâ destekli varlık oluşturmayı araştıran ekipler için temel vaadi sürekliliktir: mevcut bağlamı korurken bir nesne oluşturmak, seçilen bir bölgeyi değiştirmek veya eksik bir bölümü yeniden yapılandırmak. Adı, bu görevler arasındaki ortak arayüzü sentezlenecek bölge hâline getiren bir strateji olan ​Selective Modeling​'den gelir. Resmî depo.

Toys4K üzerinde yazarlar, geometrik Chamfer Distance değerinin TRELLIS.2'nin 0.0330 değerine kıyasla 0.0118 olduğunu bildiriyor (düşük değer daha iyidir). Düzenleme koruması, VoxHammer'ın 31.55 dB değerine kıyasla 37.39 dB ​PSNR​​​ seviyesine ulaşıyor. Tamamlama F-skoru, ek nokta yönlendirmesiyle HY3D-Omni'nin 0.412 değerine kıyasla 0.541 seviyesine ulaşıyor. Desteklenen girdiler yöntemler arasında farklılık gösteriyor ve nokta ipuçları gerçek değerlerden geliyor; bu karşılaştırmalar mimari kazanımları yalıtmıyor. Makale, Tablo 1–3.

Nasıl Çalışır: Seç, Sentezle, Koru

Temel soyutlama, bir varlığı seçilen bir S bölgesine ve korunan bağlama ​C​ ayırır. Üretim her şeyi seçer; düzenleme hedefi seçer; tamamlama ise eksik olanı seçer. Bir sandalye için aynı arayüz sandalyenin tamamını oluşturabilir, sırtlığını değiştirebilir veya eksik bir ayağı yeniden yapılandırabilir. Bunlar görev tanımının açıklayıcı kullanımlarıdır. Model, ayrı göreve özgü bir eğitim tarifi gerektirmek yerine ortak bir bölgesel sentez problemini öğrenir. Depo özeti.

SeMo3D, TRELLIS.2'nin üç akış modelini Trellis-500K üzerinde ince ayarlar ve SC-VAE'sini yeniden kullanır. Seyrek yapı, bir ​16³ gizil ​ızgarada​ doluluğu tahmin eder; şekil ve doku, ​32³ ızgarada​ dolu konumlarda çalışarak geometri ve PBR malzemeleri üretir. Maske aşamalar arasında aktarılır. Dolayısıyla görev birleştirme hâlâ aşamaya özgü üç model kullanır. Makale, yöntem ve eğitim ayrıntıları.

Bölge seçici gürültü giderme, sıradan varlıklardan eğitim örnekleri oluşturur. Rastgele bir bölgeye gürültü uygulanırken çevresi temiz kalır; kayba yalnızca o bölgedeki tahminler katkıda bulunur. Eğitim, yerel kutulardan varlıkların tamamına kadar uzanır ve eşleştirilmiş önce-sonra düzenleme veya tamamlama veri kümelerine olan ihtiyacı ortadan kaldırır. Çıkarım sırasında seçilen belirteçler gürültüyle başlar ve yönlendirme altında gelişirken özgün bağlam belirteçleri her adımda yeniden kullanılır. Böylece model, nesnenin tamamını yeniden sentezlemeden tüm nesneye başvurabilir. Resmî yöntem açıklaması.

Omni3DiT, bu karma girdinin anlaşılmasını sağlar. Rol gömmeleri, seçilen ve bağlam belirteçlerini tanımlar. Paralel çapraz dikkat dalları DINOv3 görüntü özelliklerini ve CLIP metin özelliklerini ekler; nokta belirteçleri seyrek yapı aşamasında öz-dikkate girer. Görüntüler görünümü yönlendirir, metin anlamsal amacı ekler ve noktalar uzamsal yerleşimi kısıtlar. Koşul bırakma, eğitim sırasında kullanılabilir yönlendirmeyi çeşitlendirerek modeli tamamlayıcı sinyalleri kullanmaya teşvik eder. Resmî mimari şeması.

Bir görüntü zorunlu olmaya devam eder. Üretim her aşamada 12 Euler adımı kullanır; düzenleme/tamamlama yapı için 50, şekil ve doku için 12 adım kullanır. Katı koruma, gizil belirteçler için geçerlidir; kodu çözülen her tepe noktasına zorunlu olarak uygulanmaz. Makale ve çıkarım eki.

Uygulamalar ve Sırada Ne Var

Pratik fırsat yinelemeli çalışmadadır: aksesuar varyantlarını keşfetmek, eksik referansları onarmak ve art arda gelen talimatlarla varlıkları geliştirmek. Resmî proje ayrıca referans görüntüleri hazırlayan, düzenleme bölgelerini belirleyen ve SeMo3D'yi çağıran aracı iş akışlarını da gösteriyor. Bu, yararlı bir iş bölümü olduğunu düşündürüyor: bir aracı, amacı bir modelleme isteğine dönüştürürken 3B model bölgesel sentezi gerçekleştirir. Etkileşimli proje gösterimleri.

Kullanıma hazır olma düzeyi hâlâ sınırlı. 6 Kasım 2026 tarihinde kontrol edildiği üzere, resmî ​depo​​ belgeler ve gösterim varlıkları içeriyor; ağırlıklar ile eğitim, çıkarım ve değerlendirme kodu henüz yayımlanmadı. MIT lisansı, gelecekteki ağırlıklar için lisans koşullarını belirlemiyor. Bu makale, bağımsız bir yeniden üretim iddiasında bulunmadan makaleyi ve mevcut depoyu inceliyor. Yayınlama kontrol listesi.

Yazarlar iki araştırma yönü belirliyor. Daha yüksek doğruluklu 3B temsiller, mevcut yapılandırılmış gizil temsillerin çözmekte zorlandığı palmiye yaprakları gibi ince yapıları daha iyi yakalayabilir. Daha güçlü görsel-dil kodlayıcıları, karmaşık bileşimsel istemlerin anlaşılmasını iyileştirebilir; makale, turuncu meyvelerin ayrı nesneler yerine turuncu dokuya dönüştüğünü gösteriyor. Sınırlamalar ve Gelecek Çalışmalar. Projenin kalan yayınlama kilometre taşları ​Hugging Face üzerinde model ağırlıkları ile tamamlanmış çıkarım, eğitim ve değerlendirme kodudur​. Resmî TODO listesi.