PartBloom: Modelos 3D construidos por partes

Aspectos destacados y resultados: de una imagen a partes separadas

PartBloom es un framework de código abierto que convierte una sola imagen en un modelo 3D con partes separadas. Su idea central es sencilla: un LLM construye la estructura y luego TRELLIS añade los detalles. Las partes se planifican en función de sus funciones y movimiento relativo, lo que permite exportar por separado componentes como la carrocería y las ruedas de un vehículo. El modelo aproximado busca preservar aberturas y conexiones, haciendo que el resultado sea más fácil de editar, sustituir y ensamblar.

El proyecto presenta 14 ejemplos de una sola imagen, comparaciones de generación y descomposición, y demostraciones de animación con rigging. Las dos figuras siguientes ilustran el nivel de detalle general y los límites de las partes. Estos ejemplos cualitativos sugieren potencial, pero no demuestran una superioridad constante frente a otros métodos. Este artículo se basa en el README y el código fuente; no hemos ejecutado pruebas de generación.

Cómo funciona: planificación, refinamiento y decodificación de partes

La primera etapa coordina tres roles de LLM. El Planificador produce un grafo de partes que describe las funciones, las cajas delimitadoras, las relaciones entre padres e hijos, las ubicaciones de las conexiones y el movimiento esperado. A continuación, el Constructor edita una máscara de vóxeles binaria para cada parte en una cuadrícula compartida de 64³ mediante herramientas de polígono, pincel, movimiento y borrado. Al igual que al construir con bloques, estas operaciones crean geometría aproximada real. El Revisor compara la imagen de referencia con cuatro vistas del modelo provisional, comprobando las proporciones, las partes faltantes, las conexiones y las aberturas. Puede activar hasta dos rondas de reparación.

La segunda etapa reutiliza los pesos preentrenados de TRELLIS. Las coordenadas combinadas de superficie y soporte del modelo aproximado se expanden una celda en las seis direcciones de los vecinos de las caras y, después, se codifican en un latente estructural mediante el VAE de estructura dispersa. Tras mezclar esta codificación con ruido gaussiano, el modelo de flujo realiza el muestreo de t=0.65 a t=0 en 12 pasos por defecto, guiado por la imagen de referencia, antes de decodificar la estructura refinada. Por tanto, el modelo provisional proporciona un prior espacial editable, aunque el refinamiento aún puede eliminar partes pequeñas.

La asignación basada en distancias y el crecimiento de regiones conectadas transfieren las etiquetas de las partes a la estructura refinada. A continuación, el pipeline muestrea un SLat compartido para todo el objeto: un conjunto de características asociadas a coordenadas espaciales. Se trata de operaciones distintas: el latente estructural se inicializa a partir del modelo provisional, mientras que el SLat detallado se genera de nuevo. En el modo de partes predeterminado, las características se seleccionan mediante la etiqueta de la parte y se decodifican en mallas separadas. En el modo conjunto, el SLat completo se decodifica en características de mayor resolución antes de extraer la malla de cada parte. El contexto de generación compartido favorece la coherencia, pero no garantiza uniones correctas.

La apariencia procede de la sección de cada parte del mismo SLat mediante decodificación gaussiana, renderizado multivista y horneado de texturas. El resultado contiene el color base horneado y no debe confundirse con un conjunto completo de materiales PBR. Los entregables incluyen datos de planificación y del modelo provisional, mallas independientes, GLB texturizados por parte, el archivo assembly_textured.glb ensamblado, imágenes de vista previa y registros de ejecución. En conjunto, permiten inspeccionar, editar y solucionar problemas.

Aplicaciones y perspectivas: de partes separadas a recursos utilizables

Entre los posibles usos se incluyen la creación de prototipos de animación, las vistas explosionadas de productos y la formación sobre ensamblaje. Las mallas separadas aún requieren rigging para la animación esquelética. La impresión física también requiere trabajar en las tolerancias, las interfaces y el grosor de las paredes. Dado que la geometría no visible se infiere a partir de una sola imagen, el resultado no debe tratarse como ingeniería inversa precisa.

La implementación requiere una API de LLM, un entorno CUDA, los pesos de TRELLIS y DINOv2, y Blender 4.5. El repositorio de PartBloom utiliza la licencia MIT, pero su dependencia PhysX-Omni utiliza S-Lab License 1.0, que restringe el uso comercial.

La hoja de ruta oficial incluye rigging y una migración a TRELLIS.2. Futuras investigaciones podrían explorar restricciones multivista, comprobaciones de conexiones y regeneración local. Medir la conservación de las partes, la calidad de las uniones, el tiempo de ejecución y el coste ayudaría a determinar con qué fiabilidad este enfoque puede respaldar flujos de trabajo de producción.

Fuentes: Repositorio y hoja de ruta; Prompts de los agentes; Pipeline de refinamiento; Exportación de texturas.