Đánh giá hệ thống AI

Hoạt động, phương pháp, công cụ đánh giá hệ thống trí tuệ nhân tạo.

Đánh giá hệ thống AI giúp cơ quan, tổ chức hiểu rõ chất lượng, giới hạn và rủi ro của hệ thống trước khi đưa vào vận hành. Viện tiếp cận theo vòng đời hệ thống: dữ liệu, mô hình, tích hợp và vận hành.

Nội dung đánh giá

Chất lượng mô hình: độ chính xác, độ bao phủ, hiệu năng trên dữ liệu tiếng Việt và dữ liệu nghiệp vụ.
Độ tin cậy, vững chắc: phản ứng với dữ liệu nhiễu, dữ liệu ngoài phân bố, tấn công đối kháng.
Công bằng, minh bạch: sai lệch giữa các nhóm đối tượng; khả năng giải thích kết quả.
An toàn, quyền riêng tư: rò rỉ dữ liệu, nội dung độc hại, tuân thủ quy định bảo vệ dữ liệu cá nhân.

Danh mục

Đánh giá chất lượng, hiệu năng mô hình AI

Đánh giá hệ thống AI / Cơ quan nhà nước, doanh nghiệp phát triển hoặc triển khai hệ thống AI

Đánh giá độ chính xác, độ bao phủ và hiệu năng của mô hình AI trên bộ dữ liệu kiểm thử độc lập, ưu tiên dữ liệu tiếng Việt.

Đánh giá độ tin cậy, an toàn và công bằng của hệ thống AI

Đánh giá hệ thống AI / Đơn vị chuẩn bị đưa hệ thống AI vào phục vụ người dân, doanh nghiệp

Kiểm tra khả năng chống chịu dữ liệu nhiễu, sai lệch giữa các nhóm đối tượng, rủi ro rò rỉ dữ liệu và nội dung không phù hợp.

Đánh giá mô hình ngôn ngữ lớn tiếng Việt

Đánh giá hệ thống AI / Đơn vị phát triển, tinh chỉnh hoặc lựa chọn mô hình ngôn ngữ lớn

Đánh giá năng lực đọc hiểu, kiến thức, suy luận và an toàn nội dung của mô hình ngôn ngữ lớn với dữ liệu tiếng Việt.