3

Trong bài viết này sẽ giới thiệu về các mô hình Markov và các mô hình Markov ẩn dưới dạng trừu tượng toán học, với một số ví dụ.


Theo lý thuyết xác suất, mô hình Markov là mô hình ngẫu nhiên giả định thuộc tính Markov. Một mô hình ngẫu nhiên mô hình hóa một quá trình trong đó trạng thái phụ thuộc vào các trạng thái trước đó theo cách không xác định. Một quy trình ngẫu nhiên có thuộc tính Markov nếu phân phối xác suất có điều kiện của các trạng thái trong tương lai của quy trình.


Trạng thái hệ thống hoàn toàn có thể quan sát được Trạng thái hệ thống có thể quan sát được một phần

Hệ thống tự chủ

Chuỗi Markov Mô hình Markov ẩn

Hệ thống được điều khiển
Quy trình quyết định của Markov Quá trình quyết định Markov có thể quan sát được một phần

Chuỗi Markov

Một chuỗi Markov được đặt tên bởi Andrey Markov, là một hệ thống toán học đại diện cho sự chuyển đổi từ trạng thái này sang trạng thái khác trên một không gian trạng thái. Nhà nước có thể nhìn thấy trực tiếp cho người quan sát. Đó là một quá trình ngẫu nhiên thường được đặc trưng là không có bộ nhớ: trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại chứ không phụ thuộc vào chuỗi các sự kiện xảy ra trước nó. Loại "không nhớ" cụ thể này được gọi là thuộc tính Markov.

Hãy nói về thời tiết. chúng ta có ba loại thời tiết nắng, mưa và nhiều mây.

Chúng ta hãy giả sử rằng thời tiết kéo dài cả ngày và nó không thay đổi từ mưa sang nắng vào giữa ngày.

Dự báo thời tiết là cố gắng đoán ngày mai thời tiết sẽ như thế nào dựa trên lịch sử quan sát thời tiết

mô hình đơn giản hóa dự báo thời tiết
Wewill thu thập số liệu thống kê về thời tiết hôm nay như thế nào dựa trên thời tiết hôm qua như thế nào vào ngày hôm trước và cứ thế. Chúng tôi muốn thu thập các xác suất sau đây.

Sử dụng biểu thức trên, chúng ta có thể đưa ra xác suất của các loại thời tiết cho ngày mai và ngày hôm sau bằng cách sử dụng n ngày của lịch sử.

N lớn hơn sẽ là vấn đề ở đây. Càng nhiều số liệu thống kê, chúng tôi phải thu thập Giả sử n = 5 thì chúng tôi phải thu thập số liệu thống kê cho 3 5 = 243 lịch sử trong quá khứ. Do đó, chúng tôi sẽ đưa ra một giả định đơn giản hóa được gọi là "Giả định Markov".

Đây được gọi là "giả định Markov bậc nhất" vì chúng tôi nói rằng xác suất quan sát tại thời điểm n chỉ phụ thuộc vào quan sát tại thời điểm n-1. Giả định Markov bậc hai sẽ có sự quan sát tại thời điểm n phụ thuộc vào n-1 và n-2. Chúng ta có thể thể hiện xác suất chung bằng cách sử dụng giả định của Mark Markov.

Vì vậy, điều này bây giờ có ảnh hưởng sâu sắc đến số lượng lịch sử mà chúng ta phải tìm số liệu thống kê, bây giờ chúng ta chỉ cần 3 2 = 9 số để mô tả xác suất của tất cả các chuỗi. (Giả định này có thể hoặc không thể là giả định hợp lệ tùy thuộc vào tình huống.)

Tự ý chọn một số số cho P (w ngày mai | w hôm nay ).

Tabel2: Xác suất của thời tiết ngày mai dựa trên thời tiết hôm nay

W0 là gì? Nói chung, người ta có thể nghĩ w là từ BẮT ĐẦU vì vậy P (w1w2) là xác suất để w1 có thể bắt đầu một câu.

Đối với các mô hình Markov đặt hàng đầu tiên, chúng ta có thể sử dụng các xác suất này để vẽ một máy tự động trạng thái hữu hạn xác suất.

ví dụ:

1. Hôm nay trời nắng, xác suất ngày mai trời nắng và ngày sau trời mưa

Đầu tiên chúng tôi dịch thành

  • P (w2 = nắng, w3 = mưa | w1 = nắng)
P (w2 = nắng, w3 = mưa | w1 = nắng) = P (w2 = nắng | w1 = nắng) *
   P (w3 = mưa | w2 = nắng, w3sunny)
  = P (w2 = nắng | w1 = nắng) * P (w3 = mưa | w2 = nắng)
  = 0,8 * 0,05
  = 0,04

Mô hình Markov ẩn

Mô hình Markov ẩn (HMM) là mô hình Markov thống kê trong đó hệ thống được mô hình hóa được coi là một quá trình Markov với các trạng thái không quan sát được (ẩn). Một HMM có thể được coi là mạng Bayesian năng động đơn giản nhất. Các mô hình Markov ẩn đặc biệt được biết đến với ứng dụng của chúng trong nhận dạng mẫu thời gian như lời nói, chữ viết tay, nhận dạng cử chỉ, gắn thẻ một phần của bài phát biểu, theo dõi điểm âm nhạc, xả một phần và tin sinh học.

Thí dụ

Giả sử bạn bị nhốt trong phòng trong vài ngày và bạn được hỏi về thời tiết bên ngoài Một bằng chứng duy nhất bạn có là liệu người vào phòng có mang theo bữa ăn hàng ngày của bạn có mang theo ô hay không.

Bảng 3: Xác suất nhìn thấy một chiếc ô

Phương trình của quá trình Markov thời tiết trước khi bạn bị khóa trong phòng.

Bây giờ chúng tôi phải xác định thực tế là thời tiết thực tế bị ẩn khỏi bạn Chúng tôi làm điều đó bằng cách sử dụng Quy tắc Bayes.

Trong trường hợp u tôi là đúng nếu người chăm sóc của bạn mang một chiếc ô trên i ngày và false nếu người chăm sóc thì không. Xác suất P (w 1 , .., w n ) giống như mô hình Markov từ phần cuối cùng và xác suất P (u 1 , .., u n ) là xác suất trước khi thấy một chuỗi các sự kiện ô cụ thể .

Xác suất P (w 1 , .., w n | u 1 , .., u n ) có thể được ước tính là,

Giả sử rằng với tất cả những gì tôi đã cho w i , u i độc lập với tất cả u j và w j . Tôi và J không bằng nhau

Bài tiếp theo sẽ giải thích về quá trình ra quyết định của Mark Markov.

|