Helpex - Trao đổi & giúp đỡ Đăng nhập

QA: Kiểm tra hộp đen cho các mô hình học máy

Sự nghiệp Khoa học dữ liệu / Máy học chủ yếu được liên kết với các mô hình xây dựng có thể thực hiện các dự đoán liên quan đến số hoặc lớp. Điều này không giống như phát triển phần mềm thông thường, liên quan đến cả phát triển và "thử nghiệm" phần mềm. Và hồ sơ nghề nghiệp liên quan là nhà phát triển phần mềm / kỹ sư và kỹ sư kiểm tra / chuyên gia QA . Tuy nhiên, trong trường hợp của Machine Learning, hồ sơ nghề nghiệp là một nhà khoa học dữ liệu. Việc sử dụng từ " thử nghiệm "liên quan đến các mô hình Machine Learning chủ yếu được sử dụng để kiểm tra hiệu năng của mô hình về độ chính xác / độ chính xác của mô hình. Có thể lưu ý rằng từ" thử nghiệm "có nghĩa khác với phát triển phần mềm thông thường và phát triển mô hình Machine Learning.

Các mô hình Machine Learning cũng cần được kiểm tra như phát triển phần mềm thông thường từ quan điểm đảm bảo chất lượng . Do đó, các kỹ thuật như kiểm thử hộp đen và hộp trắng sẽ áp dụng cho các mô hình Machine Learning cũng như để thực hiện kiểm tra kiểm soát chất lượng trên các mô hình Machine Learning. Có vẻ như có một sự nghiệp cho các kỹ sư kiểm tra / chuyên gia QA trong lĩnh vực Trí tuệ nhân tạo.

Trong bài đăng này, bạn sẽ tìm hiểu về các kỹ thuật Kiểm tra Hộp đen khác nhau để kiểm tra các mô hình Machine Learning (ML). Sau đây sẽ được mô tả:

  • Giới thiệu nhanh về Machine Learning
  • Kiểm tra hộp đen là gì?
  • Những thách thức với thử nghiệm Blackbox cho các mô hình Machine Learning
  • Kỹ thuật kiểm tra hộp đen cho các mô hình ML
  • Kỹ năng cần thiết để kiểm tra Blackbox của các mô hình ML

Một trong những mục tiêu chính của việc thực hiện kiểm tra hộp đen của các mô hình Machine Learning là đảm bảo chất lượng của các mô hình một cách bền vững.

Giới thiệu nhanh về Học máy

Nếu bạn chưa quen với Machine Learning, đây là phần giới thiệu nhanh.

Nói một cách đơn giản, Machine Learning (mô hình) đại diện cho một lớp phần mềm học từ một tập dữ liệu nhất định và sau đó đưa ra dự đoán về tập dữ liệu mới dựa trên việc học của nó. Nói cách khác, các mô hình Machine Learning được đào tạo với một bộ dữ liệu hiện có để đưa ra dự đoán về một bộ dữ liệu mới. Ví dụ, mô hình Machine Learning có thể được đào tạo với dữ liệu của bệnh nhân (báo cáo chẩn đoán) bị bệnh tim để dự đoán liệu bệnh nhân có bị bệnh tim do dữ liệu chẩn đoán của anh ta được đưa vào mô hình hay không. Lớp học thuật toán này còn được gọi là học có giám sát.

Phần sau đây đại diện cho các lớp khác nhau của thuật toán Machine Learning:

  • Học có giám sát
    • Hồi quy: Các mô hình hồi quy được sử dụng để đưa ra dự đoán số. Ví dụ, giá của cổ phiếu vào một ngày nhất định sẽ là bao nhiêu?
    • Phân loại: Các mô hình phân loại được sử dụng để dự đoán lớp của một dữ liệu nhất định. Ví dụ, một người có bị bệnh hay không.
  • Học tập không giám sát
  • Học tăng cường

Sơ đồ sau đây thể hiện các khía cạnh học tập có giám sát và không giám sát của Machine Learning:

QA: Kiểm tra hộp đen cho các mô hình học máy

Hình. Học tập có giám sát và không giám sát

Kiểm tra hộp đen là gì?

Kiểm thử hộp đen đang kiểm tra chức năng của một ứng dụng mà không biết chi tiết triển khai của nó bao gồm cấu trúc chương trình nội bộ, cấu trúc dữ liệu, v.v ... Các trường hợp kiểm thử để kiểm tra hộp đen được tạo ra dựa trên các thông số kỹ thuật yêu cầu. Do đó, nó cũng được gọi là thử nghiệm dựa trên đặc điểm kỹ thuật. Sơ đồ sau đây thể hiện kiểm tra hộp đen:

QA: Kiểm tra hộp đen cho các mô hình học máy

Hình 1. Kiểm tra hộp đen

Khi được áp dụng cho các mô hình Machine Learning, thử nghiệm hộp đen có nghĩa là thử nghiệm các mô hình Machine Learning mà không biết các chi tiết bên trong như các tính năng của mô hình Machine Learning, thuật toán được sử dụng để tạo mô hình, tuy nhiên, thách thức là xác định nhà tiên tri thử nghiệm có thể xác minh kết quả kiểm tra đối với các giá trị dự kiến ​​được biết trước. Điều này được thảo luận trong phần sau.

Những thách thức với việc kiểm tra hộp đen của các mô hình học máy

Cho rằng các mô hình Machine Learning đã được phân loại là không thể kiểm tra, nó đưa ra một thách thức để thực hiện kiểm tra Blackbox của các mô hình ML. Hãy thử và hiểu lý do tại sao các mô hình ML được gọi là không thể kiểm tra. Ngoài ra, làm thế nào họ có thể được kiểm tra?

Trong phát triển phần mềm thông thường, một giả định thường được gọi là sự hiện diện của một nhà tiên tri kiểm tra, không gì khác ngoài người kiểm thử / kỹ sư kiểm thử (con người) hoặc một số dạng cơ chế kiểm thử bao gồm chương trình kiểm tra có thể xác minh đầu ra của chương trình máy tính theo giá trị mong đợi được biết trước. Trong trường hợp của các mô hình Machine Learning, không có giá trị dự kiến ​​trước vì đầu ra của mô hình ML là một loại dự đoán. Cho rằng kết quả của các mô hình Machine Learning là một dự đoán, không dễ để so sánh hoặc xác minh dự đoán với một loại giá trị dự kiến ​​nào đó không được biết trước. Điều đó nói rằng, trong giai đoạn phát triển (xây dựng mô hình), các nhà khoa học dữ liệu kiểm tra hiệu suất của mô hình bằng cách so sánh kết quả đầu ra của mô hình (giá trị dự đoán) với các giá trị thực tế.

QA: Kiểm tra hộp đen cho các mô hình học máy

Hình 2. Sự vắng mặt của Test Oracle

Trong những trường hợp không tìm thấy các phép thử kiểm tra, khái niệm về các phép lạ giả được đưa ra. Các giả thuyết đại diện cho kịch bản khi các đầu ra cho tập hợp đầu vào đã cho có thể được so sánh với nhau và độ chính xác có thể được xác định. Hãy xem xét các kịch bản sau đây. Một chương trình để giải quyết vấn đề được mã hóa bằng hai cách triển khai khác nhau với một trong số chúng được chọn làm chương trình chính. Đầu vào được thông qua cả hai việc thực hiện. Nếu đầu ra đi ra giống hoặc tương đương (nằm trong một phạm vi nhất định hoặc nhiều hơn / ít hơn một giá trị định trước), chương trình chính có thể được cho là hoạt động như dự kiến ​​hoặc chương trình chính xác. Mục tiêu là tìm ra các kỹ thuật khác nhau để kiểm tra hoặc thực hiện kiểm tra kiểm soát chất lượng trên các mô hình Machine Learning từ góc độ đảm bảo chất lượng.

Kỹ thuật kiểm tra hộp đen cho các mô hình học máy

Dưới đây trình bày một số kỹ thuật có thể được sử dụng để thực hiện kiểm tra hộp đen trên các mô hình Machine Learning:

  • Hiệu suất mô hình
  • Thử nghiệm biến chất
  • Mã hóa kép
  • Bảo hiểm hướng dẫn fuzzing
  • So sánh với các mô hình tuyến tính, đơn giản hóa
  • Thử nghiệm với các lát dữ liệu khác nhau

Hiệu suất mô hình

Hiệu suất mô hình thử nghiệm là về việc thử nghiệm các mô hình với dữ liệu thử nghiệm / bộ dữ liệu mới và so sánh hiệu suất của mô hình về các tham số như độ chính xác / thu hồi, v.v., với độ chính xác được xác định trước với mô hình đã được xây dựng và chuyển vào sản xuất. Đây là tầm thường nhất của các kỹ thuật khác nhau có thể được sử dụng để thử nghiệm hộp đen.

Thử nghiệm biến chất

Trong thử nghiệm biến chất, một hoặc nhiều thuộc tính được xác định đại diện cho mối quan hệ biến chất giữa các cặp đầu vào-đầu ra. Ví dụ, theo giả thuyết, một mô hình ML được xây dựng để dự đoán khả năng một người mắc một căn bệnh cụ thể dựa trên các biến số dự đoán khác nhau như tuổi tác, thói quen hút thuốc, giới tính, thói quen tập thể dục, v.v. Dựa trên phân tích chi tiết, đó là xuất phát từ việc cho người đó là người hút thuốc và nam giới, khả năng người mắc bệnh tăng thêm 5% với tuổi tăng thêm 3 tuổi. Điều này có thể được sử dụng để thực hiện kiểm tra biến chất là thuộc tính, tuổi, thể hiện mối quan hệ biến chất giữa đầu vào và đầu ra. Sơ đồ sau đây đại diện cho thử nghiệm biến chất:

QA: Kiểm tra hộp đen cho các mô hình học máy

Hình 3 - Thử nghiệm biến chất của các mô hình học máy

Trong thử nghiệm biến chất, các trường hợp thử nghiệm dẫn đến thành công dẫn đến một loạt các trường hợp thử nghiệm khác có thể được sử dụng để thử nghiệm thêm các mô hình Machine Learning. Dưới đây đại diện cho một kế hoạch kiểm tra mẫu:

  • Cho người là nam và người hút thuốc, xác định khả năng người mắc bệnh khi tuổi 30 là 30.
  • Tăng tuổi lên 5 tuổi. Khả năng sẽ tăng hơn 5%.
  • Tăng tuổi lên 10 năm. Khả năng sẽ tăng hơn 15% nhưng dưới 20%.

Các trường hợp thử nghiệm như trên có thể được thực thi cho đến khi tất cả các kết quả thành công hay thất bại ở bất kỳ bước nào. Trong trường hợp, một trong những trường hợp thử nghiệm thất bại, nó có thể dẫn đến việc ghi lại một khiếm khuyết có thể được xử lý, bởi các nhà khoa học dữ liệu.

Thông tin chi tiết có thể được tìm thấy trên blog này, thử nghiệm biến chất của các mô hình Machine Learning .

Mã hóa kép

Với kỹ thuật mã hóa kép, ý tưởng là xây dựng các mô hình khác nhau dựa trên các thuật toán khác nhau và so sánh dự đoán từ mỗi mô hình này với một bộ dữ liệu đầu vào cụ thể. Ngày nay, một mô hình phân loại được xây dựng với các thuật toán khác nhau như rừng ngẫu nhiên, SVM, mạng lưới thần kinh. Tất cả đều chứng minh độ chính xác so sánh là 90% hoặc hơn với rừng ngẫu nhiên cho thấy độ chính xác là 94%. Điều này dẫn đến việc lựa chọn rừng ngẫu nhiên. Tuy nhiên, trong quá trình thử nghiệm, mô hình kiểm tra kiểm soát chất lượng, tất cả các mô hình trên đều được bảo toàn và đầu vào được đưa vào tất cả các mô hình. Đối với các đầu vào mà phần lớn các mô hình còn lại không phải là rừng ngẫu nhiên đưa ra dự đoán không khớp với mô hình được xây dựng với rừng ngẫu nhiên, có thể đưa ra lỗi / lỗi trong hệ thống theo dõi lỗi.

Bảo hiểm hướng dẫn Fuzzing

Làm mờ hướng dẫn bảo hiểm là một kỹ thuật trong đó dữ liệu được đưa vào các mô hình Machine Learning có thể được lên kế hoạch phù hợp sao cho tất cả các kích hoạt tính năng được kiểm tra. Lấy một ví dụ, các mô hình được xây dựng với các mạng thần kinh, cây quyết định, rừng ngẫu nhiên, v.v ... Giả sử mô hình được xây dựng bằng các mạng thần kinh. Ý tưởng là đưa ra các bộ dữ liệu (trường hợp thử nghiệm) có thể dẫn đến việc kích hoạt từng tế bào thần kinh có trong mạng lưới thần kinh. Kỹ thuật này nghe giống như thử nghiệm hộp trắng. Tuy nhiên, cách nó trở thành một phần của thử nghiệm hộp đen là phản hồi thu được từ mô hình mà sau đó được sử dụng để hướng dẫn cách làm mờ thêm và do đó, tên - Làm mờ hướng dẫn bảo hiểm. Công việc này đang được tiến hành. Tôi sẽ đăng một bài viết chi tiết về điều này cùng với các trường hợp thử nghiệm mẫu.

Các kỹ năng cần thiết để kiểm tra hộp đen của các mô hình ML

Với các kỹ thuật kiểm tra được đề cập trước đó, sau đây là một số kỹ thuật cần có cho các kỹ sư kiểm tra hoặc chuyên gia QA để đóng vai trò quan trọng trong việc thực hiện kiểm tra kiểm soát chất lượng trên các mô hình AI hoặc Machine Learning:

  • Kiến thức giới thiệu về các khái niệm Machine Learning (Các loại nhiệm vụ học tập khác nhau (như hồi quy, phân loại, v.v.) và các thuật toán liên quan.
  • Kiến thức về các thuật ngữ như tính năng, tính quan trọng, vv
  • Kiến thức về các thuật ngữ liên quan đến hiệu suất mô hình (Chính xác, thu hồi, độ chính xác, v.v.)
  • Kỹ năng phân tích dữ liệu chung
  • Kiến thức về kịch bản với một hoặc nhiều ngôn ngữ kịch bản.

Tài liệu tham khảo

Tóm lược

Nếu bạn là một chuyên gia hoặc kỹ sư kiểm tra QA làm việc trong tổ chức / bộ phận QA trong công ty của bạn, bạn có thể khám phá sự nghiệp trong lĩnh vực khoa học dữ liệu / Học máy để kiểm tra / thực hiện kiểm tra kiểm soát chất lượng trên các mô hình Machine Learning từ góc độ QA. Và kiểm thử hộp đen của các mô hình Machine Learning là một trong những lĩnh vực chính mà bạn sẽ làm khi đảm bảo chất lượng của các mô hình ML. Xin vui lòng bình luận hoặc đề nghị hoặc yêu cầu làm rõ.

4 hữu ích 0 bình luận 10k xem chia sẻ

Có thể bạn quan tâm

loading