Xây dựng các tác nhân 3D thông minh hơn: Jev có thể nâng cao hệ sinh thái nhà phát triển và kỹ năng của V2Fun như thế nào

Hoạt động sáng tạo 3D được hỗ trợ bởi AI đang phát triển từ việc tạo một lần thành một dạng hạ tầng phần mềm mới.

Các nhà phát triển ngày càng muốn có những tác nhân có thể hiểu bản mô tả sáng tạo, chọn phương pháp dựng hình phù hợp, tạo nhiều tài sản, lắp ráp chúng thành một cảnh, đánh giá kết quả và cung cấp các tệp có thể tiếp tục đi qua quy trình sản xuất.

V2Fun cung cấp lớp sáng tạo chuyên biệt cho các quy trình này. API hợp nhất của V2Fun hỗ trợ tạo và chỉnh sửa hình ảnh, tạo lưới 3D, tạo texture, remesh, chuyển đổi định dạng, hoạt ảnh, ghi lại chuyển động qua video và kết xuất. Các nhà phát triển có thể kết nối những khả năng này để xây dựng quy trình đi từ ý tưởng ban đầu đến tài sản 3D có thể sử dụng mà không cần tự duy trì từng phần của quy trình 3D bên dưới. (doc.v2fun.ai)

Tuy nhiên, việc tạo chỉ là một phần của quy trình 3D tự động. Một tác nhân cũng phải đưa ra nhiều quyết định nhỏ hơn:

• Tài liệu tham chiếu đã đầy đủ chưa?
• Một đối tượng nên được tạo bằng AI hay dựng theo quy trình?
• Có thể tái sử dụng tài sản hiện có không?
• Kết quả có cần thực hiện thêm một lần tạo nữa không?
• Quy trình nên tự động tiếp tục hay yêu cầu con người xem xét?
• Khả năng nào của V2Fun nên xử lý bước tiếp theo?

Đây là nơi Jev có thể trở thành phần bổ trợ giá trị cho hệ sinh thái nhà phát triển và Skills của V2Fun.

Jev là mô hình System One của TypeSafe, được thiết kế để đưa ra các phán đoán nhanh, có giới hạn thay vì tạo nội dung mở. Với một trạng thái dạng văn bản và các tiêu chí do nhà phát triển định nghĩa, Jev trả về đầu ra có kiểu thông qua ba nguyên tố quyết định: Choice, Score và Noul. Những nguyên tố này cho phép phần mềm chọn từ các tùy chọn được định trước, đánh giá đầu vào theo một thang điểm có thứ tự hoặc ước tính xác suất một mệnh đề là đúng.

Các nhà phát triển có thể khám phá những ứng dụng thực tế và mô hình triển khai thông qua Jev AI Dev, một hướng dẫn độc lập và cộng đồng nhà phát triển dành cho Jev cũng như hệ sinh thái System One nói chung. Các trường hợp sử dụng được tuyển chọn cho thấy cách ra quyết định có cấu trúc có thể hỗ trợ điều phối tác nhân, định tuyến, đánh giá, an toàn, tìm kiếm và công cụ dành cho nhà phát triển.

Trong một quy trình V2Fun, điều này tạo ra sự phân chia trách nhiệm rõ ràng. V2Fun tạo và xử lý các tài sản 3D chuyên nghiệp, trong khi các tác nhân tạo sinh diễn giải bản mô tả sáng tạo và điều phối công cụ. Jev có thể bổ trợ cho cả hai bằng cách đưa ra quyết định có cấu trúc về lộ trình dựng hình, mức độ sẵn sàng của đầu vào, kiểm soát chất lượng, việc thử lại và chuyển sang con người. Khi kết hợp, các thành phần này có thể hỗ trợ những tác nhân 3D không chỉ sáng tạo mà còn dễ kiểm soát và sẵn sàng cho sản xuất hơn.

V2Fun Cung cấp Lớp Sáng tạo 3D

API V2Fun cung cấp cho nhà phát triển quyền truy cập vào các khả năng mô-đun về hình ảnh, mô hình, chuyển động và kết xuất.

Nhà phát triển có thể sử dụng độc lập các API này hoặc kết nối chúng thành một quy trình sản xuất hoàn chỉnh. Ví dụ, V2Fun mô tả một quy trình nhân vật liên kết việc tạo ý tưởng, tái dựng lưới 3D, tạo texture PBR, rigging và chuyển đổi hoạt ảnh sang một quy trình tự động. (doc.v2fun.ai)

V2Fun cũng cung cấp một phương thức tích hợp gần với tác nhân hơn thông qua mã nguồn mở V2Fun AI 3D Skill.

Thay vì xem mỗi đối tượng là một yêu cầu tạo đơn lẻ, Skill có thể phân tích tham chiếu, chia đối tượng thành các thành phần và chọn phương pháp dựng phù hợp cho từng phần:

• Các hình dạng cơ khí thông thường có thể được tạo theo quy trình bằng Three.js.
• Các thành phần hữu cơ hoặc phức tạp về mặt thị giác có thể được tạo bằng V2Fun.
• Có thể tái sử dụng các mô hình hiện có khi có sẵn tài sản phù hợp.
• Các thành phần được tạo và dựng theo quy trình có thể được lắp ráp thành một mô hình lai.
• Kết quả cuối cùng có thể được cung cấp dưới dạng tệp GLB cùng các tệp nguồn có thể chỉnh sửa.

Phương pháp lai này mang lại cho tác nhân AI nhiều quyền kiểm soát hơn đối với cấu trúc và khả năng chỉnh sửa của kết quả so với một yêu cầu chuyển hình ảnh thành 3D đơn lẻ. (github.com)

Phương pháp này cũng đưa ra một thách thức mới: tác nhân cần một cách đáng tin cậy để đưa ra quyết định trong suốt quy trình.

Jev Cung cấp Lớp Quyết định Có Cấu trúc

Jev là mô hình System One của TypeSafe. Không giống mô hình ngôn ngữ tạo sinh, Jev không viết mã, tạo lời giải thích hay tạo nội dung 3D. Mô hình đánh giá một trạng thái dạng văn bản theo các câu hỏi do nhà phát triển định nghĩa và trả về các câu trả lời có kiểu mà mã ứng dụng có thể sử dụng trực tiếp.

Jev cung cấp ba nguyên tố quyết định chính:

• Choice: Chọn một tùy chọn từ một tập hợp được xác định.
• Score: Đánh giá một đối tượng theo một thang điểm có thứ tự.
• Noul: Ước tính xác suất một mệnh đề là đúng.

Choice và Score cũng có thể trả về thông tin độ tin cậy, cho phép ứng dụng quyết định tiếp tục, thử lại hay chuyển cấp. (docs.typesafe.ai)

Các nhà phát triển có thể khám phá những cách triển khai thực tế thông qua các trường hợp sử dụng dành cho nhà phát triển được tuyển chọn của Jev AI Dev, một hướng dẫn độc lập và cộng đồng nhà phát triển dành cho mô hình Jev cũng như hệ sinh thái System One nói chung. Các ví dụ bao gồm điều phối tác nhân, tìm kiếm và xếp hạng, hỗ trợ khách hàng, an toàn, trò chơi và công cụ dành cho nhà phát triển. (jevai.dev)

Điểm khác biệt quan trọng là Jev sẽ không thay thế các mô hình 3D của V2Fun hay mô hình tạo sinh điều khiển tác nhân.

Thay vào đó, Jev có thể giúp tác nhân đưa ra các quyết định nhanh, có giới hạn bên trong quy trình V2Fun.

Jev Có thể Tích hợp vào V2Fun Skills ở Đâu

1. Chọn Lộ trình Dựng hình Phù hợp

V2Fun AI 3D Skill có thể kết hợp nhiều phương pháp dựng. Jev có thể chuẩn hóa quyết định định tuyến cho từng thành phần.

Với bản mô tả thiết kế dạng văn bản và danh mục thành phần, câu hỏi Choice có thể chọn giữa:

• Tạo lưới bằng V2Fun AI
• Dựng Three.js theo quy trình
• Tái sử dụng tài sản hiện có
• Dựng lai
• Con người xem xét

Ví dụ, các bu lông, ống, bệ và giá đỡ hình học lặp lại có thể được định tuyến sang phương pháp dựng theo quy trình. Một sinh vật, trang phục hoặc vật trang trí điêu khắc có thể được định tuyến sang khả năng tạo bằng AI của V2Fun.

Tác nhân vẫn sẽ lập kế hoạch cho đối tượng và thực thi phương pháp đã chọn. Jev cung cấp quyết định định tuyến có kiểu thay vì một đề xuất mở cần được phân tích từ văn bản được tạo.

2. Đánh giá Mức độ Sẵn sàng của Đầu vào

Một quy trình 3D thường bắt đầu với hướng dẫn chưa đầy đủ hoặc hình ảnh tham chiếu không phù hợp.

Trước khi gửi tác vụ tạo, Jev có thể đánh giá thông tin dạng văn bản do quy trình tạo ra:

• Đối tượng dự định đã được xác định rõ chưa?
• Mô tả mặt trước, mặt bên và mặt sau có nhất quán không?
• Bản mô tả có nêu rõ phong cách hình ảnh mục tiêu không?
• Định dạng đầu ra dự kiến đã được biết chưa?
• Người dùng mong muốn một mô hình tĩnh hay một nhân vật hoạt ảnh?

Các khả năng tạo chú thích hình ảnh hoặc nâng cao prompt của V2Fun trước tiên có thể chuyển đổi đầu vào hình ảnh thành mô tả. Sau đó, Jev có thể đánh giá các mô tả đó và trả về các tín hiệu sẵn sàng có cấu trúc.

Nếu thông tin chưa đủ, Skill có thể yêu cầu người dùng cung cấp góc nhìn khác hoặc yêu cầu cụ thể hơn trước khi tiêu tốn credit cho việc tạo.

3. Thêm Cổng Độ tin cậy vào Lời gọi API

V2Fun sử dụng API dựa trên tác vụ. Hầu hết yêu cầu tạo đều trả về một ID tác vụ, sau đó ứng dụng theo dõi tác vụ và truy xuất kết quả không đồng bộ. (doc.v2fun.ai)

Do đó, một Skill dùng trong sản xuất cần có chính sách để bắt đầu, thử lại và dừng tác vụ.

Jev có thể cung cấp các phán đoán ngữ nghĩa như:

• Một lần tạo khác có khả năng giải quyết vấn đề đã báo cáo không?
• Bản sửa đổi của người dùng yêu cầu dựng lại lưới hay chỉ tạo lại texture?
• Thay đổi được yêu cầu có đủ lớn để biện minh cho một tác vụ mới có tính phí không?
• Hành động này có yêu cầu xác nhận không?

Chính sách cuối cùng vẫn nên nằm trong mã ứng dụng. Việc tính credit, giới hạn thử lại, quyền API và thăm dò tác vụ là các thao tác xác định, không nên giao cho mô hình.

Vai trò của Jev là đánh giá điều kiện ngữ nghĩa. Mã của Skill sẽ quyết định hành động nào được điều kiện đó cho phép.

4. Định tuyến Tài sản qua Quy trình Sản xuất

Các yêu cầu 3D khác nhau cần những quy trình tiếp theo khác nhau.

Một nhân vật trò chơi có thể cần tạo texture, rigging, chuyển đổi hoạt ảnh và cung cấp tệp GLB hoặc FBX. Một hình ảnh trực quan hóa sản phẩm có thể cần remesh, tinh chỉnh vật liệu và bản xem trước kết xuất. Một trải nghiệm web đơn giản có thể chỉ cần một GLB nhẹ.

Jev có thể suy ra quy trình mong muốn từ bản mô tả sáng tạo và chọn một pipeline được định trước:

• Tài sản xem trước tĩnh
• Đạo cụ sẵn sàng cho trò chơi
• Nhân vật đã rig
• Nhân vật hoạt ảnh
• Tài sản web hoặc XR
• Mô hình cần con người xem xét

Sau đó, V2Fun sẽ thực thi các thao tác tương ứng thông qua API, trong khi mã xác định sẽ áp dụng các yêu cầu kỹ thuật về số đa giác, định dạng tệp, kích thước tệp và khả năng tương thích với engine mục tiêu.

5. Hỗ trợ Quyết định Kiểm soát Chất lượng

Đảm bảo chất lượng trong sản xuất 3D kết hợp các kiểm tra khách quan với phán đoán chủ quan.

Các thuộc tính khách quan—chẳng hạn tệp có thể được tải hay không, các thành phần mong đợi có tồn tại hay không hoặc định dạng đầu ra có chính xác hay không—nên được xác thực trực tiếp bằng mã.

Các thuộc tính chủ quan có thể được chuyển thành báo cáo kiểm tra dạng văn bản:

• Kết quả có giữ lại các đặc điểm chính của bản mô tả không?
• Phong cách của tài sản có nhất quán giữa các thành phần không?
• Thành phần được tạo có phù hợp với mục đích sử dụng dự kiến không?
• Lỗi được báo cáo có nghiêm trọng đến mức cần tạo lại không?
• Nên chấp nhận, sửa đổi tài sản hay chuyển cho con người xem xét?

Jev có thể trả lời các câu hỏi này dưới dạng Choice, Score hoặc Noul.

Tuy nhiên, hiện tại Jev đánh giá văn bản thay vì trực tiếp đánh giá hình ảnh, video hoặc hình học 3D. Trước tiên, một mô hình thị giác, công cụ kiểm tra hình học hoặc người xem xét phải tạo ra mô tả hay phép đo liên quan. Sau đó, Jev có thể đưa ra quyết định quy trình có giới hạn từ trạng thái đó. (docs.typesafe.ai)

Kiến trúc Tác nhân V2Fun và Jev Khả thi

Một quy trình kết hợp có thể sử dụng năm lớp riêng biệt:

1. **Tác nhân tạo sinh diễn giải yêu cầu.**Tác nhân hiểu mục tiêu sáng tạo, phân rã đối tượng, viết mã và quản lý cuộc trò chuyện.
2. ​V2Fun Skill định nghĩa ​quy trình​**.**Skill cung cấp hướng dẫn, tập lệnh, tích hợp API, lộ trình dựng hình, giám sát tác vụ và yêu cầu phân phối.
3. **Jev xử lý các quyết định có giới hạn.**Jev chọn các lộ trình được định trước, chấm điểm các điều kiện định tính và trả về tín hiệu độ tin cậy.
4. **V2Fun tạo và xử lý tài sản.**Các API của V2Fun tạo hình ảnh và lưới, tạo texture, xử lý mô hình, truy xuất hoặc chuyển đổi chuyển động và tạo bản xem trước.
5. **Mã ứng dụng thực thi chính sách.**Mã quản lý thông tin xác thực API, giới hạn credit, thao tác thử lại, quyền hạn, xác thực tệp và ngưỡng con người xem xét.

Sự phân tách này mang lại cho mỗi thành phần một trách nhiệm rõ ràng.

Tác nhân tạo sinh xử lý suy luận mở. Jev xử lý các phán đoán có cấu trúc. V2Fun xử lý việc tạo và xử lý 3D chuyên biệt. Mã ứng dụng vẫn kiểm soát việc thực thi.

Ví dụ: Tạo Nhân vật Cơ khí Sẵn sàng cho Trò chơi

Hãy hình dung một nhà phát triển yêu cầu tác nhân tạo một nhân vật cơ khí cách điệu từ hình ảnh ý tưởng.

Tác nhân trước tiên có thể xác định các thành phần chính:

• Vỏ đầu và thân
• Cánh tay cơ khí
• Các khớp lặp lại
• Bệ đế
• Cáp trang trí
• Texture bề mặt

Các công cụ hình ảnh của V2Fun có thể tạo ra tham chiếu đa góc rõ ràng hơn hoặc mô tả dạng văn bản. Sau đó, Jev có thể đánh giá từng thành phần và chọn lộ trình dựng hình.

Vỏ thân có thể sử dụng khả năng tạo bằng V2Fun AI vì thiết kế hình ảnh không đều của nó. Các khớp lặp lại có thể được dựng theo quy trình. Cáp có thể sử dụng hình học dựa trên đường cong có thể tái sử dụng. Bệ có thể được tạo bằng các kích thước Three.js cụ thể.

Sau khi các thành phần được lắp ráp, quy trình có thể kiểm tra GLB đã xuất, tạo bản xem trước kết xuất và tạo báo cáo có cấu trúc. Jev có thể đánh giá liệu kết quả nên được chấp nhận, sửa đổi hay chuyển cho con người.

Nếu nhân vật cần hoạt ảnh, một quyết định khác có thể định tuyến nhân vật qua rigging và chuyển đổi hoạt ảnh. Nếu yêu cầu chỉ cần bản xem trước sản phẩm tĩnh, quy trình có thể bỏ qua các bước đó.

Kết quả không chỉ đơn giản là một mô hình được tạo bằng AI. Đó là một quy trình sản xuất được tác nhân quản lý, trong đó việc tạo, dựng, đánh giá và phân phối phối hợp với nhau.

Vì sao Sự kết hợp này Quan trọng

Giá trị tiềm năng của việc tích hợp Jev với V2Fun không nằm ở việc một mô hình chịu trách nhiệm cho toàn bộ quy trình.

Giá trị nằm ở sự chuyên môn hóa.

• V2Fun cung cấp hạ tầng tạo 3D và xử lý tài sản.
• V2Fun AI 3D Skill đóng gói hạ tầng đó thành một quy trình tác nhân có thể tái sử dụng.
• Jev có thể cung cấp các quyết định có cấu trúc tại những điểm phân nhánh quan trọng.
• Các mô hình tạo sinh có thể hiểu bản mô tả, lập kế hoạch đối tượng, viết mã và giao tiếp với người dùng.
• Mã ứng dụng giữ quyền kiểm soát việc thực thi, bảo mật, chi phí và xác thực.

Kiến trúc này có thể giúp các tác nhân 3D phức tạp trở nên mô-đun hơn, dễ quan sát hơn và dễ cải thiện hơn. Các nhà phát triển có thể kiểm thử từng quyết định độc lập, điều chỉnh ngưỡng độ tin cậy mà không cần thiết kế lại toàn bộ Skill và đưa con người xem xét chính xác tại nơi cần thiết.

Từ Tạo 3D đến Hạ tầng Tác nhân 3D

Hoạt động sáng tạo 3D bằng AI đang trở thành một phần của hệ sinh thái tác nhân rộng lớn hơn.

Các nhà phát triển sẽ không chỉ gọi một mô hình để tạo đối tượng. Họ sẽ xây dựng các tác nhân hiểu yêu cầu sản xuất, điều phối các mô hình chuyên biệt, quản lý công việc không đồng bộ, lắp ráp tài sản có thể chỉnh sửa, xác thực đầu ra và cung cấp kết quả cho trò chơi, ứng dụng XR, công cụ thiết kế và nền tảng nội dung.

V2Fun đang xây dựng các khả năng 3D chuyên biệt và Skills có thể tái sử dụng cần thiết cho quá trình chuyển đổi đó. Jev giới thiệu một lớp bổ trợ dành cho việc ra quyết định nhanh và có cấu trúc.

Khi kết hợp, chúng hướng tới một kiến trúc thực tiễn cho hoạt động sản xuất 3D thông minh: tác nhân tạo sinh đảm nhiệm suy luận, Jev đảm nhiệm quyết định có giới hạn, V2Fun đảm nhiệm sáng tạo và phần mềm xác định đảm nhiệm kiểm soát.

Sự kết hợp này có thể giúp đưa AI 3D từ các công cụ tạo riêng lẻ đến những quy trình tác nhân đáng tin cậy, sẵn sàng cho nhà phát triển.

Tài liệu tham khảo

• Trang web chính thức của V2Fun
• Tài liệu API V2Fun
• Hướng dẫn nhanh API V2Fun
• V2Fun AI 3D Skill trên GitHub
• Jev AI Dev
• Các trường hợp sử dụng dành cho nhà phát triển của Jev AI
• Tài liệu Jev chính thức
• Tham chiếu API Jev
• Sử dụng Jev với các tác nhân lập trình