PartBloom: Mô hình 3D được xây dựng từ các bộ phận
PartBloom là một framework mã nguồn mở biến một hình ảnh duy nhất thành mô hình 3D dạng mô-đun với các bộ phận có thể xuất riêng, tận dụng các LLM để tạo cấu trúc và TRELLIS để tạo chi tiết.
Điểm nổi bật và kết quả: Từ một hình ảnh đến các bộ phận riêng biệt
PartBloom là một framework mã nguồn mở biến một hình ảnh đơn lẻ thành mô hình 3D với các bộ phận riêng biệt. Ý tưởng cốt lõi rất đơn giản: một LLM xây dựng cấu trúc, sau đó TRELLIS bổ sung chi tiết. Các bộ phận được lập kế hoạch dựa trên chức năng và chuyển động tương đối của chúng, cho phép xuất riêng các thành phần như thân xe và bánh xe. Mô hình thô hướng tới việc bảo toàn các lỗ hở và kết nối, giúp kết quả dễ chỉnh sửa, thay thế và lắp ráp hơn.
Dự án giới thiệu 14 ví dụ từ một hình ảnh, các so sánh về quá trình tạo và phân rã, cùng các minh họa hoạt ảnh có gắn rig. Hai hình bên dưới minh họa mức độ chi tiết tổng thể và ranh giới giữa các bộ phận. Những ví dụ định tính này cho thấy tiềm năng, nhưng không chứng minh được ưu thế nhất quán so với các phương pháp khác. Bài viết này dựa trên README và mã nguồn; chúng tôi chưa chạy thử nghiệm tạo ảnh.
Cách hoạt động: Lập kế hoạch, tinh chỉnh và giải mã bộ phận
Giai đoạn đầu tiên điều phối ba vai trò LLM. Planner tạo ra một đồ thị bộ phận mô tả chức năng, hộp giới hạn, quan hệ cha–con, vị trí kết nối và chuyển động dự kiến. Sau đó, Builder chỉnh sửa mặt nạ voxel nhị phân cho từng bộ phận trong một lưới 64³ dùng chung, bằng các công cụ đa giác, cọ, di chuyển và xóa. Tương tự như xây dựng bằng các khối, những thao tác này tạo ra hình học thô thực tế. Reviewer so sánh hình ảnh tham chiếu với bốn góc nhìn của mô hình đại diện, kiểm tra tỷ lệ, các bộ phận bị thiếu, kết nối và lỗ hở. Công cụ này có thể kích hoạt tối đa hai vòng sửa chữa.
Giai đoạn thứ hai sử dụng lại các trọng số TRELLIS đã được huấn luyện trước. Các tọa độ hỗ trợ bề mặt kết hợp của mô hình thô được mở rộng thêm một ô theo sáu hướng láng giềng mặt, sau đó được mã hóa thành latent cấu trúc bằng VAE cấu trúc thưa. Sau khi trộn mã hóa này với nhiễu Gaussian, mô hình flow lấy mẫu từ t=0.65 đến t=0 theo mặc định trong 12 bước, được định hướng bằng hình ảnh tham chiếu, trước khi giải mã cấu trúc đã tinh chỉnh. Do đó, mô hình đại diện cung cấp một prior không gian có thể chỉnh sửa, mặc dù quá trình tinh chỉnh vẫn có thể loại bỏ các bộ phận nhỏ.
Việc gán dựa trên khoảng cách và quá trình phát triển vùng kết nối chuyển nhãn bộ phận sang cấu trúc đã tinh chỉnh. Sau đó, pipeline lấy mẫu một SLat dùng chung cho toàn bộ vật thể: một tập hợp các đặc trưng gắn với tọa độ không gian. Đây là những thao tác riêng biệt—latent cấu trúc được khởi tạo từ mô hình đại diện, trong khi SLat chi tiết được tạo mới. Ở chế độ parts mặc định, các đặc trưng được chọn theo nhãn bộ phận và giải mã thành các mesh riêng biệt. Ở chế độ joint, toàn bộ SLat được giải mã thành các đặc trưng có độ phân giải cao hơn trước khi trích xuất mesh của từng bộ phận. Ngữ cảnh tạo chung hỗ trợ tính nhất quán, nhưng không đảm bảo các đường ghép chính xác.
Phần hình thức của mỗi bộ phận được tạo từ lát cắt tương ứng của cùng một SLat thông qua giải mã Gaussian, kết xuất đa góc nhìn và nướng kết cấu. Đầu ra chứa màu cơ bản đã được nướng và không nên bị nhầm là một bộ vật liệu PBR hoàn chỉnh. Các tệp bàn giao bao gồm dữ liệu lập kế hoạch và mô hình đại diện, các mesh độc lập, GLB có kết cấu cho từng bộ phận, assembly_textured.glb đã lắp ráp, hình ảnh xem trước và nhật ký chạy. Kết hợp lại, chúng hỗ trợ việc kiểm tra, chỉnh sửa và khắc phục sự cố.
Ứng dụng và triển vọng: Từ các bộ phận riêng biệt đến tài sản có thể sử dụng
Các ứng dụng tiềm năng bao gồm tạo nguyên mẫu hoạt ảnh, chế độ xem sản phẩm được tách rời và đào tạo lắp ráp. Các mesh riêng biệt vẫn cần được gắn rig để hoạt ảnh bộ xương. In vật lý cũng đòi hỏi xử lý dung sai, bề mặt tiếp giáp và độ dày thành. Vì hình học bị che khuất được suy luận từ một hình ảnh duy nhất, đầu ra không nên được xem là kỹ thuật đảo ngược chính xác.
Việc triển khai yêu cầu API LLM, môi trường CUDA, các trọng số TRELLIS và DINOv2, cùng Blender 4.5. Kho lưu trữ PartBloom sử dụng giấy phép MIT, nhưng phần phụ thuộc PhysX-Omni sử dụng S-Lab License 1.0, trong đó hạn chế việc sử dụng cho mục đích thương mại.
Lộ trình chính thức bao gồm gắn rig và chuyển sang TRELLIS.2. Các nghiên cứu tiếp theo có thể khám phá các ràng buộc đa góc nhìn, kiểm tra kết nối và tái tạo cục bộ. Việc đo lường khả năng duy trì bộ phận, chất lượng đường ghép, thời gian chạy và chi phí sẽ giúp xác định mức độ đáng tin cậy của phương pháp này trong việc hỗ trợ quy trình sản xuất.
Nguồn: Kho lưu trữ và lộ trình; Prompt của tác nhân; Pipeline tinh chỉnh; Xuất kết cấu.
Câu hỏi thường gặp
PartBloom tạo ra gì từ một hình ảnh duy nhất?
PartBloom biến một hình ảnh tham chiếu thành mô hình 3D với các bộ phận có thể chỉnh sửa riêng biệt. Ví dụ, bánh xe của một phương tiện có thể được xuất dưới dạng các lưới riêng lẻ, để bạn có thể xoay hoặc thay thế một bánh xe trong khi vẫn giữ nguyên phần thân xe.
PartBloom quyết định đâu là điểm kết thúc của một phần và bắt đầu phần khác như thế nào?
Quy trình bắt đầu bằng việc xác định mỗi thành phần thực hiện chức năng gì và di chuyển như thế nào so với các thành phần lân cận. Mô hình ngôn ngữ sử dụng kế hoạch đó để xây dựng hình dạng 3D sơ bộ cho từng bộ phận. Sau đó, TRELLIS tinh chỉnh hình học bằng cách sử dụng hình ảnh tham chiếu làm hướng dẫn.
PartBloom xuất những tệp nào?
Bạn sẽ nhận được một tệp GLB có texture cho mỗi bộ phận và một tệp assembly_textured.glb hiển thị toàn bộ đối tượng. Chọn tệp của từng bộ phận để chỉnh sửa một thành phần hoặc mở tệp lắp ráp để kiểm tra cách các chi tiết khớp với nhau. Texture chỉ bao gồm màu cơ bản được bake sẵn.
Các phần bị ẩn trong hình ảnh chính xác đến mức nào?
PartBloom suy luận các bề mặt ẩn từ hình dạng nhìn thấy. Một bánh xe có thể trông rất thuyết phục khi nhìn từ bên cạnh, trong khi phần kết nối ẩn với trục vẫn cần được điều chỉnh. Các bộ phận nhỏ cũng có thể biến mất trong quá trình tinh chỉnh, vì vậy hãy kiểm tra mô hình từ nhiều góc độ trước khi dựa vào độ khớp.
