PartBloom: Parçalarla Oluşturulan 3D Modeller
PartBloom, yapıyı oluşturmak için LLM'lerden, ayrıntılar için TRELLIS'ten yararlanarak tek bir görseli ayrı ayrı dışa aktarılabilir parçalara sahip modüler bir 3B modele dönüştüren açık kaynaklı bir çerçevedir.
Öne Çıkanlar ve Sonuçlar: Tek Görüntüden Ayrı Parçalara
PartBloom, tek bir görüntüyü ayrı parçalara sahip bir 3D modele dönüştüren açık kaynaklı bir framework'tür. Temel fikri basittir: Bir LLM yapıyı oluşturur, ardından TRELLIS ayrıntıları ekler. Parçalar, işlevleri ve göreli hareketleri temel alınarak planlanır; böylece araç gövdesi ve tekerlekler gibi bileşenler ayrı ayrı dışa aktarılabilir. Kaba model, açıklıkları ve bağlantıları korumayı hedefleyerek sonucu düzenlemeyi, parçaları değiştirmeyi ve montajı kolaylaştırır.
Proje, tek görüntüden oluşturulmuş 14 örnek, oluşturma ve ayrıştırma karşılaştırmaları ve rig'lenmiş animasyon gösterimleri sunar. Aşağıdaki iki şekil, genel ayrıntı düzeyini ve parça sınırlarını gösterir. Bu niteliksel örnekler potansiyel ortaya koyar, ancak diğer yöntemlere karşı tutarlı bir üstünlük kanıtlamaz. Bu makale README ve kaynak kod temel alınarak hazırlanmıştır; oluşturma testlerini biz çalıştırmadık.
Nasıl Çalışır: Planlama, İyileştirme ve Parça Kod Çözme
İlk aşama, üç LLM rolünü koordine eder. Planlayıcı; işlevleri, sınırlayıcı kutuları, ebeveyn–çocuk ilişkilerini, bağlantı konumlarını ve beklenen hareketi açıklayan bir parça grafiği üretir. Ardından Oluşturucu, her parça için ortak bir 64³ ızgaradaki ikili voksel maskesini poligon, fırça, taşıma ve temizleme araçlarını kullanarak düzenler. Bloklarla inşa etmeye benzer şekilde bu işlemler gerçek kaba geometri oluşturur. İnceleyici, referans görüntüyü vekil modelin dört görünümüyle karşılaştırarak oranları, eksik parçaları, bağlantıları ve açıklıkları kontrol eder. En fazla iki onarım turunu tetikleyebilir.
İkinci aşamada önceden eğitilmiş TRELLIS ağırlıkları yeniden kullanılır. Kaba modelin birleşik yüzey-destek koordinatları, altı yüz komşusu yönünde bir hücre genişletilir ve ardından seyrek yapı VAE'si tarafından bir yapı latent'ine kodlanır. Bu kodlama Gauss gürültüsüyle karıştırıldıktan sonra akış modeli, referans görüntünün yönlendirmesiyle varsayılan olarak 12 adımda t=0.65'ten t=0'a örnekleme yapar ve iyileştirilmiş yapının kodunu çözer. Bu nedenle vekil model, düzenlenebilir bir uzamsal öncül sağlar, ancak iyileştirme küçük parçaları yine de kaldırabilir.
Mesafe tabanlı atama ve bağlı bölge büyütme, parça etiketlerini iyileştirilmiş yapıya aktarır. Ardından işlem hattı, nesnenin tamamı için ortak bir SLat örnekler: uzamsal koordinatlarla ilişkilendirilmiş bir özellik kümesi. Bunlar birbirinden farklı işlemlerdir—yapı latent'i vekil modelden başlatılırken ayrıntılı SLat yeniden oluşturulur. Varsayılan parça modunda özellikler parça etiketine göre seçilir ve ayrı mesh'ler hâlinde kodları çözülür. Ortak modda tam SLat, her parçanın mesh'ini çıkarmadan önce daha yüksek çözünürlüklü özelliklere dönüştürülür. Ortak oluşturma bağlamı tutarlılığı destekler, ancak dikişlerin doğru olmasını garanti etmez.
Görünüm, her parçanın aynı SLat içindeki diliminden Gauss kod çözme, çoklu görünüm oluşturma ve doku pişirme yoluyla elde edilir. Çıktı, pişirilmiş temel rengi içerir ve eksiksiz bir PBR malzeme seti olarak değerlendirilmemelidir. Teslimatlar arasında planlama ve vekil model verileri, bağımsız mesh'ler, parça başına dokulu GLB'ler, birleştirilmiş assembly_textured.glb, önizleme görüntüleri ve çalıştırma günlükleri bulunur. Bunlar birlikte inceleme, düzenleme ve sorun gidermeyi destekler.
Uygulamalar ve Gelecek: Ayrı Parçalardan Kullanılabilir Varlıklara
Potansiyel kullanım alanları arasında animasyon prototipleme, ayrıştırılmış ürün görünümleri ve montaj eğitimi bulunur. Ayrı mesh'ler, iskelet animasyonu için yine de rigging gerektirir. Fiziksel baskı da toleranslar, arayüzler ve duvar kalınlığı üzerinde çalışma yapılmasını gerektirir. Görünmeyen geometri tek bir görüntüden çıkarıldığı için çıktı, hassas tersine mühendislik olarak değerlendirilmemelidir.
Dağıtım için bir LLM API'si, CUDA ortamı, TRELLIS ve DINOv2 ağırlıkları ve Blender 4.5 gerekir. PartBloom deposu MIT lisansını kullanır, ancak PhysX-Omni bağımlılığı ticari kullanımı kısıtlayan S-Lab License 1.0 lisansını kullanır.
Resmî yol haritasında rigging ve TRELLIS.2'ye geçiş yer alır. İlerideki araştırmalar çoklu görünüm kısıtlamalarını, bağlantı kontrollerini ve yerel yeniden oluşturmayı inceleyebilir. Parça korunumu, dikiş kalitesi, çalışma süresi ve maliyetin ölçülmesi, bu yaklaşımın üretim iş akışlarını ne kadar güvenilir biçimde destekleyebileceğini ortaya koymaya yardımcı olur.
Kaynaklar: Depo ve yol haritası; Ajan istemleri; İyileştirme işlem hattı; Doku dışa aktarma.
SSS
PartBloom tek bir görselden ne oluşturur?
PartBloom, tek bir referans görselini ayrı ayrı düzenlenebilir parçalara sahip bir 3D modele dönüştürür. Örneğin, bir aracın tekerlekleri ayrı mesh'ler olarak dışa aktarılabilir; böylece gövdeyi yerinde tutarken bir tekerleği döndürebilir veya değiştirebilirsiniz.
PartBloom bir parçanın nerede bittiğine ve diğerinin nerede başladığına nasıl karar verir?
Her bir bileşenin ne yaptığını ve komşularına göre nasıl hareket ettiğini sorarak başlar. Bir dil modeli, bu planı her parça için kabaca bir 3B şekil oluşturmak üzere kullanır. TRELLIS daha sonra referans görseli kılavuz olarak kullanarak geometrisini geliştirir.
PartBloom hangi dosyaları dışa aktarır?
Her parça için dokulu bir GLB dosyası ve nesnenin tamamını gösteren assembly_textured.glb dosyası alırsınız. Bir bileşeni düzenlemek için parça dosyalarından birini seçin veya parçaların nasıl bir araya geldiğini incelemek için montajı açın. Dokular yalnızca fırınlanmış temel rengi içerir.
Görüntüde gizlenen kısımlar ne kadar doğru?
PartBloom, görünür şekilden gizli yüzeyleri çıkarır. Bir tekerlek yandan bakıldığında ikna edici görünebilir, ancak aksla arasındaki gizli bağlantının hâlâ ayarlanması gerekebilir. Küçük parçalar da iyileştirme sırasında kaybolabilir; bu nedenle uyuma güvenmeden önce modeli birkaç açıdan inceleyin.
