3

Trong bài đăng này, bạn sẽ tìm hiểu về các khía cạnh khác nhau của việc tạo ra một hệ thống Học máy với độ tin cậy cao. Cần lưu ý rằng độ tin cậy của hệ thống là một trong những thuộc tính chất lượng chính của phần mềm theo thông số kỹ thuật ISO 25000 SQUARE.

Bạn đã áp dụng các biện pháp để đảm bảo độ tin cậy cao của hệ thống Học máy của mình chưa? Trong bài đăng này, bạn sẽ tìm hiểu về một số điều sau:

  1. Độ tin cậy của hệ thống Học máy là gì?
  2. Tại sao phải bận tâm về độ tin cậy của các mô hình Học máy?
  3. Ai nên quan tâm đến độ tin cậy của hệ thống ML?

Độ tin cậy của Hệ thống ML là gì?

Giống như các ứng dụng phần mềm, độ tin cậy của hệ thống Học máy chủ yếu liên quan đến khả năng chịu lỗi và khả năng phục hồi của hệ thống trong quá trình sản xuất. Ngoài ra, độ tin cậy của hệ thống ML có liên quan đến mức độ tin cậy của quá trình đào tạo của các mô hình ML. Hãy xem xét các chi tiết liên quan đến cả hai khía cạnh:

QA: Hệ thống học máy của bạn đáng tin cậy đến mức nào?Hình: Độ tin cậy của mô hình ML

Khả năng chịu lỗi / phục hồi của hệ thống ML trong sản xuất

Khả năng chịu lỗi của hệ thống ML có thể được định nghĩa là hành vi của hệ thống khi hiệu suất của mô hình bắt đầu suy giảm vượt quá giới hạn có thể chấp nhận được. Hành vi lý tưởng của hệ thống ML là quay trở lại một trong những mô hình phục vụ tốt nhất cuối cùng hoặc mô hình kinh nghiệm đơn giản được xây dựng bằng cách sử dụng các quy tắc.

Một trong những khía cạnh quan trọng của khả năng phục hồi là ghi lại thông tin các tính năng và các dự đoán liên quan để theo dõi dữ liệu và các chỉ số liên quan. Điều này sẽ giúp đưa ra các mô hình thay thế, có thể cung cấp độ chính xác cao hơn trong trường hợp hiệu suất mô hình bắt đầu giảm sút.

Độ tin cậy của quá trình đào tạo ML

Độ tin cậy của quá trình đào tạo ML phụ thuộc vào mức độ lặp lại của quá trình đào tạo mô hình. Mục đích là để phát hiện các vấn đề với các mô hình và ngăn các mô hình chuyển sang sản xuất. Một trong những mục tiêu của việc vận hành quá trình đào tạo / kiểm tra Machine Learning là đạt được sự tự động hóa của quá trình đào tạo / kiểm tra mô hình ML tổng thể. Là một phần của quá trình tự động hóa đào tạo mô hình, cần đạt được những điều sau:

  • Trích xuất dữ liệu tự động từ các nguồn dữ liệu khác nhau
  • Khai thác tính năng
  • Đào tạo / thử nghiệm mô hình
  • Đánh giá mô hình
  • Lựa chọn mô hình
  • Lưu trữ các chỉ số đánh giá mô hình ngoài việc lưu trữ thông tin như siêu tham số, dữ liệu được sử dụng để đào tạo các mô hình

Để tránh các mô hình xấu được đưa vào sản xuất, các hình thức kiểm tra chất lượng khác nhau sẽ cần được thực hiện trên các khía cạnh khác nhau của mô hình ML như sau:

  • Dữ liệu (nhiễm độc dữ liệu, chất lượng dữ liệu, tuân thủ dữ liệu)
  • Tính năng (ngưỡng tính năng, tầm quan trọng của tính năng, kiểm tra đơn vị)
  • Mô hình (công bằng, ổn định, chỉ số trực tuyến-ngoại tuyến)
  • Đường ống ML (bảo mật đường ống)

Công nghệ vùng chứa cùng với các công cụ quy trình làm việc có thể được sử dụng để đạt được quy trình đào tạo mô hình có thể lặp lại.

Tại sao lại gây khó chịu với độ tin cậy của các mô hình ML?

Độ tin cậy là một trong những đặc điểm quan trọng của chất lượng sản phẩm phần mềm. Đây là theo thông số kỹ thuật ISO 25000 SQUARE để đánh giá chất lượng sản phẩm phần mềm. Đảm bảo độ tin cậy của mô hình sẽ làm cho các mô hình trở nên đáng tin cậy hơn và do đó người dùng cuối sẽ chấp nhận các mô hình nhiều hơn.

Ai Nên Chăm sóc Độ tin cậy của Hệ thống ML?

Trách nhiệm của một số người sau đây là tạo và giám sát hệ thống đào tạo / kiểm tra mô hình ML đáng tin cậy.

  • Nhà nghiên cứu ML / Nhà khoa học dữ liệu : Giúp thiết kế các trường hợp thử nghiệm (liên quan đến dữ liệu, tính năng, mô hình, đường ống) xung quanh việc kiểm tra độ tin cậy của mô hình ML.
  • Kỹ sư đảm bảo chất lượng: Đóng vai trò quan trọng trong việc kiểm tra kết quả kiểm tra QA liên quan đến dữ liệu, tính năng, mô hình và kiểm tra đường ống ML.
  • Kỹ sư / kỹ sư vận hành: Đóng vai trò quan trọng trong việc tự động hóa đường ống ML

Người giới thiệu

Tóm lược

Trong bài đăng này, bạn đã tìm hiểu về các khía cạnh khác nhau của độ tin cậy của hệ thống học máy. Trong khi tạo ra một hệ thống ML đáng tin cậy, người ta sẽ yêu cầu đảm bảo chất lượng độ tin cậy của mô hình trong sản xuất và cả độ tin cậy của quá trình đào tạo mô hình. Trong khi độ tin cậy của mô hình trong sản xuất có liên quan đến khả năng chịu lỗi và khả năng phục hồi của mô hình, thì độ tin cậy đào tạo mô hình có nghĩa là khả năng lặp lại của quá trình đào tạo / kiểm tra ML liên quan đến tự động hóa các quá trình đào tạo / kiểm tra ML. Là một nhà khoa học dữ liệu / nhà nghiên cứu ML, bạn sẽ có vai trò quan trọng trong việc đưa ra các hướng dẫn để đạt được độ tin cậy của hệ thống ML.

|