Ling-3.2-flash: Từ hình ảnh tham chiếu đến quy trình 3D

Điểm nổi bật và bằng chứng

Ling-3.2-flash là mô hình nền tảng đa phương thức của Ant Ling, dùng để diễn giải hình ảnh, văn bản và video, đồng thời thực hiện tác vụ thông qua các công cụ. Đối với các nhà phát triển 3D, phần trình diễn đáng chú ý là quy trình biến một tham chiếu trực quan thành các script rồi liên tục kiểm tra kết quả kết xuất của chúng. Bằng chứng công khai liên quan đến việc tạo tác và chỉnh sửa có sự hướng dẫn của mô hình; bằng chứng này không xác lập một mạng image-to-mesh chuyên dụng.

Nguồn video: Ant Ling — Cảnh 3D từ các tham chiếu 2D.

Thông số kỹ thuật chính thức mô tả một mô hình mixture-of-experts với tổng cộng 560 tỷ tham số, khoảng 25 tỷ tham số được kích hoạt cho mỗi token và cửa sổ ngữ cảnh lên đến một triệu token. Bản phát hành nhấn mạnh khả năng hiểu hình ảnh phức tạp, các tác tử đa phương thức hoạt động trong thời gian dài, cùng khả năng hiểu và tương tác 3D.

Ant Ling báo cáo điểm 92.21 trên OmniDocBench 1.5, 43.71 trên ZEROBench (Sub) và 85.86 trên Vision2Web, so với lần lượt 90.56, 39.52 và 80.20 của mô hình đối chiếu Opus 5 max. Đây là các kết quả do nhà cung cấp báo cáo trên những bài đánh giá đó. Chúng không đo độ chính xác hình học 3D, khả năng sử dụng của tài sản hay thời gian tạo mô hình đầu-cuối. Bản phát hành được xem xét cung cấp các màn trình diễn thay vì một benchmark tái dựng 3D tiêu chuẩn hóa.

Quy trình 3D hoạt động như thế nào

Ví dụ 3D chính thức bắt đầu từ một tham chiếu 2D và sử dụng các script để tái tạo tài sản trò chơi hoặc mô phỏng. Mô hình kiểm tra các bản kết xuất không đầu của những hình cầu vật liệu, so sánh độ nhám, hiệu ứng normal map và chi tiết bump, sau đó chỉnh sửa các script. Xét ở cấp độ quy trình, vòng lặp này gồm diễn giải tham chiếu, xây dựng mã, thực thi, kiểm tra trực quan và hiệu chỉnh. Hình học và vật liệu nằm trong cảnh do công cụ tạo ra; mô hình sử dụng hình ảnh của cảnh đó làm phản hồi.

Điều này tách biệt hai dạng biểu diễn dễ bị nhầm lẫn. Mô hình neural xử lý ngữ cảnh đa phương thức, trong khi công cụ tạo tác bên ngoài duy trì các đối tượng cảnh, tham số vật liệu và mã có thể thực thi một cách tường minh. Các chỉnh sửa được trình diễn tác động lên script và trạng thái công cụ. Bản phát hành không tiết lộ lưới latent 3D, bộ giải mã mesh-token, lịch trình tinh chỉnh diffusion hay mục tiêu huấn luyện hình học, vì vậy không thể suy ra những cơ chế đó từ video.

Cơ chế MoE được công bố liên quan đến phép tính bên trong mô hình ngôn ngữ: việc định tuyến token kích hoạt các mạng con chuyên gia được chọn thay vì toàn bộ tập tham số ở mỗi bước. Điều này không có nghĩa mỗi chuyên gia tương ứng với một bộ phận 3D. Tương tự, giới hạn ngữ cảnh một triệu token là năng lực duy trì thông tin tác vụ, không đảm bảo rằng một phiên tạo mô hình kéo dài sẽ luôn duy trì độ chính xác.

Một ví dụ chính thức riêng cho thấy tương tác với Blender thông qua các thao tác UI và thay đổi tham số, trong khi một ví dụ khác chuyển bản vẽ kỹ thuật thành nội dung web 3D. Những ví dụ này thể hiện các giao diện công cụ thay thế, không phải bằng chứng cho thấy mọi tài sản đều tuân theo một quy trình cố định. Tài liệu công khai không nêu rõ một bộ khung tác tử 3D có thể tái lập, ngân sách lặp, quy tắc dừng hay định dạng xuất thống nhất. Do đó, việc xây dựng một tích hợp tương đương đòi hỏi phải cung cấp các công cụ thực thi và gửi bản kết xuất hoặc lỗi của chúng trở lại tác tử.

Nguồn video: Ant Ling — Thiết kế frontend và các công cụ chuyên nghiệp. Những ví dụ này minh họa các quy trình do tác giả báo cáo, không phải các bài kiểm tra độ chính xác độc lập.

Ứng dụng, quyền truy cập và giới hạn

Các màn trình diễn có liên quan đến tạo nguyên mẫu trực quan, lặp vật liệu và các trợ lý vận hành phần mềm 3D hiện có. Sức hấp dẫn thực tiễn của chúng nằm ở việc một tham chiếu có thể hướng dẫn các thay đổi liên tiếp đối với cảnh thay vì chỉ cung cấp một mô tả văn bản một lần. Chất lượng tài sản, khả năng chỉnh sửa và các định dạng xuất khả dụng vẫn phụ thuộc vào công cụ và tác vụ được chọn.

Nền tảng chính thức cung cấp quyền truy cập qua chat và tài liệu API với các giao diện yêu cầu tương thích với OpenAI và Anthropic. Những giao diện này cung cấp quyền truy cập mô hình; một tích hợp Blender hoạt động được vẫn là phần riêng biệt. Bản phát hành 3.2 được xem xét không cung cấp open weights, một bài báo kỹ thuật độc lập hay mã nguồn của quy trình trình diễn 3D. Không nên xem các bản phát hành Ling mở trước đây là phần triển khai của 3.2.

Không xác định được lộ trình 3D cụ thể cho 3.2 hay danh sách công việc tương lai nào trong các tài liệu chính thức được xem xét. Vì vậy, bài viết này mô tả các cơ chế và màn trình diễn đã được công bố mà không bổ sung kiến trúc đề xuất hay khả năng xuất được hứa hẹn. Mô hình và các màn trình diễn chưa được chạy độc lập cho bài đánh giá này.