Kiểm thử sức chịu đựng rủi ro mô hình AI tín dụng
Kiểm thử sức chịu đựng rủi ro mô hình AI tín dụng là quy trình đánh giá khả năng duy trì độ chính xác, tính ổn định và hiệu quả dự kiến của mô hình tín dụng sử dụng trí tuệ nhân tạo khi dữ liệu, hành vi khách hàng hoặc điều kiện thị trường thay đổi theo hướng bất lợi. Quy trình này không chỉ xác định mô hình có thể vượt qua một kịch bản giả định hay không, mà còn đánh giá mức độ suy giảm hiệu năng, nguyên nhân gây suy giảm và khả năng khắc phục trước khi tiếp tục sử dụng mô hình trong hoạt động cấp tín dụng.
Trong ngân hàng, mô hình AI tín dụng thường được ứng dụng để dự báo khả năng trả nợ, phân loại khách hàng, xếp hạng rủi ro, đề xuất hạn mức hoặc hỗ trợ kiểm định tín dụng. Vì vậy, kiểm thử sức chịu đựng rủi ro giúp ngân hàng kiểm soát chất lượng tín dụng, hạn chế tính thiên lệch của mô hình và xây dựng cơ sở khi gặp biến động lớn.
Mục tiêu của kiểm thử
Mục tiêu chính của hoạt động này gồm:
- Xác định ngưỡng hiệu năng tối thiểu mà mô hình cần đạt để tiếp tục được sử dụng.
- Đo lường mức độ thay đổi của độ chính xác, độ recall, độ precision, tỷ lệ phê duyệt và tỷ lệ từ chối khi dữ liệu thay đổi.
- Phát hiện các trường hợp mô hình dự báo thiên lệch theo nhóm khách hàng, khu vực, sản phẩm hoặc đặc điểm kinh doanh.
- Đánh giá mức độ nhạy cảm của kết quả tín dụng đối với các biến đầu vào quan trọng.
- Kiểm tra khả năng phát hiện và xử lý dữ liệu bất thường, thiếu dữ liệu hoặc dữ liệu chất lượng thấp.
- Xây dựng phương án dự phòng như chuyển sang mô hình thay thế, giảm tỷ trọng tự động hóa hoặc đưa vào kiểm định thủ công.
- Cung cấp căn cứ cho hội đồng quản trị, ban quản trị rủi ro và cơ quan kiểm soát đánh giá tính phù hợp của việc vận hành mô hình.
Một kết quả kiểm thử đạt yêu cầu không chỉ có nghĩa mô hình vẫn dự báo chính xác, mà còn cho thấy mức suy giảm nằm trong giới hạn được quản trị và không tạo ra ảnh hưởng không chấp nhận được đối với khách hàng hoặng danh mục tín dụng.
Kịch bản rủi ro thường được sử dụng
Kịch bản rủi ro có thể được xây dựng theo nhiều hướng. Kịch bản lịch sử sử dụng dữ liệu từ các giai đoạn thị trường căng thẳng hoặc suy thoái để kiểm tra khả năng tái hiện các mối quan hệ đã từng tồn tại. Kịch bản giả định có thể điều chỉnh đồng thời tỷ lệ thất thoại của khoản vay, tỷ lệ nợ xấu, chi phí vốn, lãi suất, tỷ giá hoặc tốc độ tăng trưởng tín dụng.
Kịch bản phân phối thay đổi được áp dụng để thay đổi cơ cấu dữ liệu đầu vào, chẳng hạn tăng tỷ trọng khách hàng mới, khách hàng không có lịch sử giao dịch, doanh nghiệp hoạt động trong ngành chu kỳ nhạy cảm hoặc nhóm khách hàng có dữ liệu hạn chế. Kịch bản này giúp đánh giá liệu mô hình có đang phụ thuộc vào một bối cảnh dữ liệu nhất định hay không.
Ngoài ra, ngân hàng có thể sử dụng kịch bản dữ liệu sai lệch để mô phỏng thiếu dữ liệu, nhập sai giá trị, trùng lặp dữ liệu hoặc thay đổi định nghĩa của một trường dữ liệu. Kịch bản can thiệp mô hình được dùng để giả định rằng một số đặc điểm đầu vào bị thiếu, bị sai hoặc bị thay đổi, qua đó đánh giá độ tin cậy của kết quả dự báo.
Đối với mô hình tạo tín dụng, có thể bổ sung kịch bản giả định hệ thống xử lý hạn mức, lãi suất hoặc điều kiện phê duyệt thay đổi nhanh chóng. Mục tiêu là xác định liệu mô hình có phản ứng hợp lý, có nguy cơ tạo tín dụng vượt khả năng trả nợ hoặc loại trừ không đúng nhóm khách hàng hay không.
Chỉ tiêu đánh giá và cách diễn giải
Một số chỉ tiêu quan trọng gồm độ chính xác tổng thể, độ chính xác theo từng lớp rủi ro, tỷ lệ phát hiện khách hàng có khả năng vỡ nợ và tỷ lệ khách hàng tốt bị phân loại sai. Với mô hình chấm điểm tín dụng, chỉ tiêu có thể bao gồm hệ số phân biệt, tỷ lệ khách hàng được chấp điểm trong vùng chấp nhận và khoảng cách giữa điểm mô hình với điểm rủi ro thực tế.
Chẳng hạn, trước căng thẳng, mô hình đạt độ chính xác 92% và tỷ lệ phát hiện 78% khách hàng vỡ nợ. Trong kịch bản thất thoại tăng 30%, độ chính xác giảm xuống 87%, còn tỷ lệ phát hiện giảm xuống 70%. Kết quả này không đồng nghĩa mô hình ngay lập tức phải bị loại bỏ, nhưng cần được đánh giá theo ngưỡng rủi ro, mức tác động tới lợi nhuận, độ phủ danh mục và khả năng bù trừ sai lệch.
Bên cạnh chỉ tiêu hiệu năng, cần theo dõi mức biến động dự báo của từng nhóm khách hàng. Nếu tỷ lệ từ chối của nhóm có đặc điểm nhất định tăng mạnh hơn đáng kể trong khi không có cơ sở rủi ro tương ứng, mô hình có thể đang tạo ra tác động không cân xứng. Đây là cơ sở quan trọng để ngân hàng đánh giá tính công bằng và kiểm soát rủi ro pháp lý, vận hành của việc ứng dụng AI.
Quy trình thực hiện kiểm thử
Quy trình kiểm thử thường bắt đầu bằng việc xác định phạm vi sử dụng mô hình, dữ liệu đầu vào, chủ thể bị tác động và các chỉ tiêu phải bảo vệ. Tiếp theo, nhóm thực hiện thiết lập kịch bản căn cứ trên dữ liệu thị trường, dữ liệu nội bộ hoặc giả định có căn cứ của chuyên gia. Các kịch bản cần được phê duyệt và tài liệu hóa để bảo đảm có thể tái lập.
Sau đó, mô hình được chạy lại trên tập dữ liệu gốc và tập dữ liệu đã điều chỉnh. Người thực hiện so sánh kết quả giữa các kịch bản, phân rã sự khác biệt theo nhóm khách hàng và xác định nguyên nhân. Kết quả kiểm thử được đối chiếu với ngưỡng cảnh báo, ngưỡng giới hạn và phương án xử lý đã được định nghĩa trước.
Cuối cùng, ngân hàng đề xuất một trong các kết luận: tiếp tục vận hành, giám sát tăng cường, giới hạn phạm vi sử dụng, tái hiệu chuẩn hóa, hiệu chỉnh mô hình, chuyển sang phương án dự phòng hoặng tạm dừng sử dụng. Các kết luận cần được thông qua bởi cấp quản lý có thẩm quyền và lưu lại trong hồ sơ kiểm soát mô hình.
Tác động đến quản trị rủi ro tín dụng
Kiểm thử sức chịu đựng rủi ro mô hình AI tín dụng hỗ trợ ngân hàng dự báo khả năng tổng thất thiệt tín dụng khi chất lượng khoản vay thay đổi. Kết quả kiểm thử có thể được sử dụng để điều chỉnh chính sách tín dụng, tỷ lệ hạn mứng, mức dự phòng, điều kiện phê duyệt hoặc giới hạn áp dụng của mô hình.
Đối với mô hình dùng để phê duyệt tự động, khi hiệu năng suy giảm vượt ngưỡng, ngân hàng nên cân nhắc chuyển các hồ sơ có rủi ro cao sang kiểm định thủ công hoặc áp dụng biện pháp kiểm soát tạm thời. Đối với mô hình dùng để dự báo thì không quyết định trực tiếp, kết quả kiểm thử vẫn giúp người quản lý rủi ro hiểu rõ độ tin cậy của báo cáo và tránh sử dụng dự báo quá mức.
Hoạt động này cũng hỗ trợ việc xác định yêu cầu vốn và khả năng hấp thụ tổn thất. Ví dụ, nếu mô hình cho thấy xác suất vỡ nợ tăng từ 3% lên 5% trong kịch bản căng thẳng, ngân hàng có thể đánh giá tác động đến dự phòng, tỷ lệ an toàn vốn và kế hoạch xử lý tài sản. Việc sử dụng kết quả kiểm thử phải phù hợp với quy định hiện hành của Ngân hàng Nhà nước và chính sách quản trị rủi ro nội bộ.
Câu hỏi thường gặp
Hỏi: Kiểm thử sức chịu đựng rủi ro mô hình AI tín dụng khác gì về kiểm định mô hình thông thường như thế nào?
Kiểm định mô hình tập trung vào tính hợp lệ của phương pháp, dữ liệu và quy trình xây dựng. Kiểm thử sức chịu đựng tập trung vào khả năng vận hành khi dữ liệu hoặc điều kiện thị trường trở nên bất lợi. Hai hoạt động này có thể được thực hiện độc lập nhưng cần phối hợp trong vòng đời quản lý mô hình.
Hỏi: Nếu mô hình giảm độ chính xác trong kịch bản căng thẳng, ngân hàng có nhất định phải loại bỏ mô hình không?
Không nhất thiết. Ngân hàng còn phải xem xét mức giảm, ngưỡng quản trị rủi ro, khả năng bù trừ sai lệch, tầm quan trọng của mô hình và tác động tới khách hàng. Mô hình có thể được giám sát tăng cường, giới hạn phạm vi sử dụng hoặc chuyển sang mô hình dự phòng nếu kết quả suy giảm vẫn nằm trong giới hạn được phê duyệt.
Hỏi: Kiểm thử mô hình AI tín dụng có cần thực hiện định kỳ không?
Có. Ngoài kiểm thử trước khi đưa mô hình vào vận hành, ngân hàng nên thực hiện định kỳ và khi có thay đổi quan trọng như cập nhật dữ liệu, thay đổi quy trình, thay đổi cấu trúc sản phẩm hoặc xuất hiện dấu hiệu hiệu năng suy giảm. Tần suất cụ thể nên được ngân hàng xác định theo mức độ rủi ro và tầm quan trọng của mô hình.
Nội dung này mang tính tham khảo, không thay thế tư vấn chuyên môn hoặc các hướng dẫn quản trị rủi ro hiện hành.