Helpex - Trao đổi & giúp đỡ Đăng nhập

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệu

Bùi Ðồng Khánh
· 17:00 09/10/2017
5 ngày trước

Dữ liệu nhật ký ứng dụng là nguồn thông tin hữu ích cung cấp thông tin chi tiết về cách khách hàng tương tác với sản phẩm. Nó cũng giúp khắc phục sự cố với ứng dụng và tìm ra nguyên nhân gốc rễ của vấn đề.

Hầu hết các doanh nghiệp dựa vào các công cụ APM (Quản lý Hiệu suất Ứng dụng) để theo dõi tình trạng hệ thống đảm bảo đáp ứng các mức độ khả dụng và hiệu suất của ứng dụng. Mặc dù các công cụ APM đi kèm với các tính năng hữu ích giúp báo cáo các số liệu quan trọng như thời gian phản hồi, khối lượng cuộc gọi dịch vụ, lỗi, v.v., chúng không cung cấp bất kỳ thông tin chi tiết nào về các lỗi kinh doanh hoặc bất kỳ số liệu tùy chỉnh nào khác trong bối cảnh của doanh nghiệp . Đây là lúc Phân tích nhật ký đến để giải cứu, cung cấp cái nhìn sâu sắc hơn về bối cảnh của doanh nghiệp và trả lời các câu hỏi kinh doanh phức tạp.

Có rất nhiều công cụ tuyệt vời trên thị trường như Splunk giúp tổng hợp nhật ký và dữ liệu từ nhiều máy chủ và ứng dụng. Sau khi dữ liệu được thu thập và tổng hợp, dữ liệu có thể được tìm kiếm, tương quan và trực quan hóa để tìm ra bất kỳ vấn đề hoạt động nào ảnh hưởng đến doanh nghiệp. Mặc dù cho đến nay Splunk vẫn là công cụ Quản lý Nhật ký được sử dụng rộng rãi nhất trong hầu hết các doanh nghiệp, nhưng vẫn có nhiều tùy chọn tốt khác có sẵn như Loggly, Logstash, ElasticSearch và Kibana. Các công cụ này yêu cầu các bản ghi phải được định dạng trước khi chúng được nhập vào công cụ để phân tích thêm. Có những tình huống mà ứng dụng không được tích hợp với công cụ quản lý nhật ký trung tâm hoặc phân tích thủ công nhật ký để trực quan hóa dữ liệu trong bối cảnh kinh doanh cung cấp cái nhìn sâu sắc và nhanh chóng hơn về các vấn đề của ứng dụng.

Chúng ta sẽ xem một vài ví dụ về cách dữ liệu nhật ký có thể được phân tích bằng cách sử dụng công cụ trực quan hóa dữ liệu như Tableau để hiểu hành vi ứng dụng và khắc phục các lỗi kinh doanh.

Hình 1 cho thấy bản đồ nhiệt cho số lần lỗi xảy ra mỗi giờ dựa trên dữ liệu nhật ký được thu thập trong nhiều ngày.

Hình ảnh hóa dữ liệu nhật ký này tiết lộ một số sự kiện thú vị:

  • Lỗi Hệ thống được quan sát chủ yếu vào những giờ bận rộn trong ngày chứ không phải vào những giờ sáng sớm.
  • Khi lỗi dẫn đến Lỗi hệ thống được sửa, không có lỗi nào được quan sát thấy trong tháng 11.
  • Vào khoảng 9 giờ sáng ngày 1 tháng 10, có một số lượng lớn lỗi thời gian chờ trong hệ thống đã xảy ra trong vòng một giờ. Khi điều tra sâu hơn ( Hình 2 ), hóa ra tất cả những lỗi này chỉ xảy ra trong 5 phút chứ không phải cả giờ như trong Hình 1. Điều này cho thấy rằng hệ thống đã xảy ra lỗi dẫn đến một số lượng lớn lỗi trong thời gian ngắn. Khoảng thời gian.

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuHình 1

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuHình 2

Hình 3 cho thấy thời gian phản hồi cho các cuộc gọi dịch vụ được nhóm trong các thùng trên trục x và số lượng cuộc gọi trên trục y. Chế độ xem này giúp phân tích các cuộc gọi dịch vụ có thời gian phản hồi nằm ngoài SLA có thể chấp nhận được.

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuHình 3

Hình 4 cho thấy trực quan về tổng số cuộc gọi dịch vụ so với các lỗi được thấy trong nhật ký trong một khoảng thời gian. Điều này cho thấy mối tương quan giữa số lượng cuộc gọi dịch vụ và tổng số lỗi trong một ngày cụ thể.

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuhinh 4

Hình 5 cho thấy số lượng cuộc gọi dịch vụ đã hết thời gian chờ trong 24 giờ. Trục x là giờ trong ngày và trục y là phút trong giờ. Hình ảnh trực quan này cho thấy hiệu suất của hệ thống mỗi phút trong giờ trải dài suốt cả ngày trong một chế độ xem duy nhất. Bản đồ nhiệt giúp hình dung mật độ lỗi và mối tương quan với các lỗi khác.

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuHình 5

Hình 6 cho thấy bản đồ nhiệt cho số lượng sự kiện được xử lý mỗi phút trong giờ. Hình ảnh trực quan này giúp hiểu được mô hình xử lý sự kiện trong suốt cả ngày.

Phân tích nhật ký ứng dụng và trực quan hóa dữ liệuHình 6

Tóm lại, APM và các công cụ phân tích nhật ký rất tốt trong việc giám sát hiệu suất hệ thống và phân tích các nhật ký được định dạng tốt được cung cấp cho công cụ quản lý nhật ký. Có những tình huống mà việc hình dung dữ liệu thô từ nhật ký trong các công cụ như Tableau trở nên dễ dàng và hữu ích để có cái nhìn sâu sắc hơn về các chỉ số hoạt động và khám phá các mẫu chưa biết từ dữ liệu.

8 hữu ích 0 bình luận 7.5k xem chia sẻ

Có thể bạn quan tâm