ML Metrics: Độ nhạy so với Độ đặc hiệu


Ngô Phương Ngọc
1 năm trước
Hữu ích 5 Chia sẻ Viết bình luận 0
Đã xem 1642

Trong bài đăng này, chúng tôi sẽ thử và hiểu các khái niệm đằng sau các số liệu đánh giá như độ nhạy và độ đặc hiệu, được sử dụng để xác định hiệu suất của các mô hình Machine Learning . Bài viết cũng mô tả sự khác biệt giữa độ nhạy và độ đặc hiệu. Các khái niệm đã được giải thích bằng cách sử dụng mô hình để dự đoán liệu một người có bị bệnh hay không.

Độ nhạy là gì

Độ nhạy là thước đo tỷ lệ các trường hợp dương tính thực tế được dự đoán là dương tính (hoặc dương tính thật). Độ nhạy cũng được gọi là Nhớ lại. Điều này ngụ ý rằng sẽ có một tỷ lệ khác của các trường hợp dương tính thực tế, được dự đoán không chính xác là âm tính (và do đó, cũng có thể được gọi là âm tính giả). Điều này cũng có thể được biểu diễn dưới dạng tỷ lệ âm tính giả. Tổng độ nhạy và tỷ lệ âm tính giả sẽ là 1. Hãy thử và hiểu điều này với mô hình được sử dụng để dự đoán liệu một người có mắc bệnh hay không. Độ nhạy là thước đo tỷ lệ những người mắc bệnh được dự đoán chính xác là những người mắc bệnh. Nói cách khác, người không khỏe mạnh thực sự được dự đoán là không khỏe mạnh.

Về mặt toán học, độ nhạy có thể được tính như sau:

Độ nhạy = (Đúng dương) / (Đúng dương + Sai âm)

Sau đây là các chi tiết liên quan đến True Tích cực và Sai âm được sử dụng trong phương trình trên.

  • Tích cực thực sự = Những người được dự đoán mắc bệnh (hoặc không lành mạnh) đang thực sự mắc bệnh (không lành mạnh); Nói cách khác, sự tích cực thực sự đại diện cho số người không khỏe mạnh và được dự đoán là không lành mạnh.
  • Âm tính giả = Những người thực sự mắc bệnh (hoặc không khỏe mạnh) thực sự được dự đoán là không mắc bệnh (khỏe mạnh). Nói cách khác, âm tính giả biểu thị số người không khỏe mạnh và được dự đoán là khỏe mạnh. Lý tưởng nhất, chúng tôi sẽ tìm kiếm mô hình để có âm tính giả thấp vì nó có thể chứng minh là đe dọa đến tính mạng hoặc đe dọa kinh doanh.

Giá trị độ nhạy cao hơn có nghĩa là giá trị cao hơn của giá trị dương thực sự và giá trị âm tính giả thấp hơn. Giá trị độ nhạy thấp hơn có nghĩa là giá trị thấp hơn của giá trị dương thực sự và giá trị âm tính giả thấp hơn. Đối với lĩnh vực chăm sóc sức khỏe và tài chính, các mô hình có độ nhạy cao sẽ được mong muốn.

Tính đặc hiệu là gì?

Độ đặc hiệu được định nghĩa là tỷ lệ âm tính thực tế, được dự đoán là âm tính (hoặc âm tính thật). Điều này ngụ ý rằng sẽ có một tỷ lệ âm tính thực tế khác, được dự đoán là dương tính và có thể được gọi là dương tính giả. Tỷ lệ này cũng có thể được gọi là tỷ lệ dương tính giả. Tổng độ đặc hiệu và tỷ lệ dương tính giả sẽ luôn là 1. Hãy thử và hiểu điều này với mô hình được sử dụng để dự đoán liệu một người có mắc bệnh hay không. Độ đặc hiệu là thước đo tỷ lệ những người không mắc bệnh được dự đoán chính xác là những người không mắc bệnh. Nói cách khác, người khỏe mạnh thực sự được dự đoán là khỏe mạnh là tính đặc hiệu.

Về mặt toán học, tính đặc hiệu có thể được tính như sau:

Độ đặc hiệu = (Âm tính thật) / (Âm tính thật + Tích cực sai)

Sau đây là các chi tiết liên quan đến True âm và sai dương được sử dụng trong phương trình trên.

  • Tiêu cực thực sự = Những người được dự đoán là không mắc bệnh (hoặc khỏe mạnh) thực sự được phát hiện là không mắc bệnh (khỏe mạnh); Nói cách khác, tiêu cực thực sự đại diện cho số người khỏe mạnh và được dự đoán là khỏe mạnh.
  • Dương tính giả = Những người được dự đoán mắc bệnh (hoặc không khỏe mạnh) thực sự được phát hiện là không mắc bệnh (khỏe mạnh). Nói cách khác, dương tính giả biểu thị số người khỏe mạnh và được dự đoán là không khỏe mạnh.

Giá trị đặc hiệu cao hơn có nghĩa là giá trị cao hơn của tỷ lệ âm tính thật và tỷ lệ dương tính giả thấp hơn. Giá trị thấp hơn của độ đặc hiệu có nghĩa là giá trị thấp hơn của âm tính thật và giá trị cao hơn của dương tính giả.

Sự khác biệt giữa độ nhạy và độ đặc hiệu là gì?

Mặc dù thước đo Độ nhạy được sử dụng để xác định tỷ lệ các trường hợp dương tính thực tế, được dự đoán chính xác, nhưng độ đặc hiệu được sử dụng để xác định tỷ lệ của các trường hợp âm tính thực tế, được dự đoán chính xác.

Độ nhạy và độ đặc hiệu được sử dụng ở đâu?

Các biện pháp độ nhạy và độ đặc hiệu được sử dụng để vẽ đường cong ROC. Và, Vùng dưới đường cong ROC (AUC) được sử dụng để xác định hiệu suất mô hình. Dưới đây biểu thị các đường cong ROC khác nhau và các giá trị AOC liên quan.

Biểu đồ dưới đây đại diện cho một kịch bản có độ nhạy cao (âm tính giả thấp) và độ đặc hiệu thấp (dương tính giả cao).

Tài liệu tham khảo

Tóm lược

Trong bài đăng này, bạn đã tìm hiểu về các khái niệm liên quan đến Độ nhạy và Độ đặc hiệu và cách chúng được sử dụng để đo hiệu suất mô hình Machine Learning. Bạn cũng đã tìm hiểu về sự khác biệt của chúng và cách chúng được sử dụng để xây dựng ROC và xác định AUC để đánh giá hiệu suất mô hình.

Hữu ích 5 Chia sẻ Viết bình luận 0
Đã xem 1642