Đánh giá chất lượng, hiệu năng mô hình AI

Phạm vi

Mô hình phân loại, nhận dạng, trích xuất thông tin, xử lý ngôn ngữ tự nhiên, nhận dạng tiếng nói, thị giác máy tính.

Phương pháp, công cụ

• Bộ dữ liệu kiểm thử độc lập, tách biệt dữ liệu huấn luyện
• Chỉ số định lượng theo bài toán: độ chính xác, F1, WER, BLEU…
• Kiểm thử theo kịch bản nghiệp vụ thực tế
• So sánh với mô hình tham chiếu

Quy trình thực hiện

1. Tiếp nhận yêu cầu

   Làm rõ mục tiêu, phạm vi và tiêu chí chấp nhận.

2. Thiết kế đánh giá

   Lựa chọn dữ liệu kiểm thử, chỉ số và kịch bản.

3. Thực hiện

   Chạy kiểm thử, ghi nhận kết quả và lỗi điển hình.

4. Báo cáo

   Bàn giao báo cáo đánh giá và khuyến nghị cải thiện.

Kết quả bàn giao

• Báo cáo đánh giá
• Bộ chỉ số chi tiết theo tập dữ liệu
• Danh sách lỗi điển hình và khuyến nghị