PartBloom: modelli 3D costruiti in parti

Punti salienti e risultati: da un'immagine a parti separate

PartBloom è un framework open-source che trasforma una singola immagine in un modello 3D con parti separate. L'idea di base è semplice: un LLM costruisce la struttura, poi TRELLIS aggiunge i dettagli. Le parti vengono pianificate in base alle loro funzioni e al movimento relativo, consentendo di esportare separatamente componenti come la carrozzeria e le ruote di un veicolo. Il modello grezzo mira a preservare aperture e collegamenti, rendendo il risultato più facile da modificare, sostituire e assemblare.

Il progetto presenta 14 esempi da singola immagine, confronti tra generazione e decomposizione e dimostrazioni di animazione con rig. Le due figure seguenti illustrano il livello di dettaglio complessivo e i confini tra le parti. Questi esempi qualitativi suggeriscono un potenziale, ma non dimostrano una superiorità costante rispetto ad altri metodi. Questo articolo si basa sul README e sul codice sorgente; non abbiamo eseguito test di generazione.

Come funziona: pianificazione, perfezionamento e decodifica delle parti

La prima fase coordina tre ruoli LLM. Il Planner produce un grafo delle parti che descrive funzioni, riquadri di delimitazione, relazioni genitore–figlio, posizioni dei collegamenti e movimento previsto. Il Builder modifica quindi una maschera voxel binaria per ogni parte in una griglia condivisa 64³ utilizzando strumenti poligono, pennello, spostamento e cancellazione. Come nella costruzione con i blocchi, queste operazioni creano una geometria grezza reale. Il Reviewer confronta l'immagine di riferimento con quattro viste del modello di riferimento, verificando proporzioni, parti mancanti, collegamenti e aperture. Può avviare fino a due cicli di correzione.

La seconda fase riutilizza i pesi TRELLIS preaddestrati. Le coordinate combinate di superficie e supporto del modello grezzo vengono espanse di una cella lungo le sei direzioni dei vicini delle facce, quindi codificate in un latent strutturale dal VAE a struttura sparsa. Dopo aver combinato questa codifica con rumore gaussiano, il modello di flusso esegue il campionamento da t=0.65 a t=0 in 12 passaggi per impostazione predefinita, guidato dall'immagine di riferimento, prima di decodificare la struttura perfezionata. Il modello di riferimento fornisce quindi un prior spaziale modificabile, sebbene il perfezionamento possa comunque rimuovere le parti piccole.

L'assegnazione basata sulla distanza e la crescita di regioni connesse trasferiscono le etichette delle parti alla struttura perfezionata. La pipeline campiona quindi un unico SLat condiviso per l'intero oggetto: un insieme di caratteristiche associate a coordinate spaziali. Si tratta di operazioni distinte: il latent strutturale viene inizializzato dal modello di riferimento, mentre lo SLat dettagliato viene generato ex novo. Nella modalità parts predefinita, le caratteristiche vengono selezionate in base all'etichetta della parte e decodificate in mesh separate. Nella modalità joint, lo SLat completo viene decodificato in caratteristiche a risoluzione maggiore prima di estrarre la mesh di ciascuna parte. Il contesto di generazione condiviso favorisce la coerenza, ma non garantisce giunzioni corrette.

L'aspetto proviene dalla sezione di ciascuna parte dello stesso SLat tramite decodifica gaussiana, rendering multi-view e baking delle texture. L'output contiene il colore di base sottoposto a baking e non deve essere confuso con un set completo di materiali PBR. I materiali consegnati includono dati di pianificazione e del modello di riferimento, mesh indipendenti, file GLB texturizzati per parte, l'assembly_textured.glb assemblato, immagini di anteprima e log di esecuzione. Nel complesso, supportano l'ispezione, la modifica e la risoluzione dei problemi.

Applicazioni e prospettive: dalle parti separate agli asset utilizzabili

I possibili utilizzi includono la prototipazione di animazioni, viste esplose dei prodotti e formazione sull'assemblaggio. Le mesh separate richiedono comunque il rigging per l'animazione scheletrica. Anche la stampa fisica richiede interventi su tolleranze, interfacce e spessore delle pareti. Poiché la geometria non visibile viene dedotta da una singola immagine, l'output non dovrebbe essere considerato una ricostruzione inversa precisa.

La distribuzione richiede un'API LLM, un ambiente CUDA, i pesi di TRELLIS e DINOv2 e Blender 4.5. Il repository PartBloom utilizza la licenza MIT, ma la sua dipendenza PhysX-Omni utilizza la S-Lab License 1.0, che limita l'uso commerciale.

La roadmap ufficiale include il rigging e il passaggio a TRELLIS.2. Ulteriori ricerche potrebbero esplorare vincoli multi-view, verifiche dei collegamenti e rigenerazione locale. Misurare la conservazione delle parti, la qualità delle giunzioni, il tempo di esecuzione e i costi aiuterebbe a stabilire con quale affidabilità questo approccio possa supportare i flussi di lavoro di produzione.

Fonti: Repository e roadmap; Prompt dell'agente; Pipeline di perfezionamento; Esportazione delle texture.