2

ELK Stack (Elaticsearch, Logstash và Kibana) là nền tảng phân tích nhật ký nguồn mở phổ biến nhất thế giới. Với 500.000 lượt tải xuống mỗi tháng, ELK nhanh chóng vượt qua các giải pháp độc quyền hiện có và trở thành lựa chọn hàng đầu cho các công ty mua sắm cho các giải pháp quản lý và phân tích nhật ký.

Thiết lập ELK Stack là một công việc phức tạp đòi hỏi nhiều chuyên môn, vì vậy nhiều công ty ngày nay thay vào đó tìm kiếm ELK, EL hoặc ELK lưu trữ như một dịch vụ, các giải pháp ELK lưu trữ trên đám mây hay lưu trữ trên đám mây bất cứ khi nào có thể.

Tất cả các giải pháp ELK được lưu trữ trên đám mây đều tìm cách cung cấp một cách dễ dàng và có thể mở rộng để sử dụng ngăn xếp, nhưng chúng khác nhau theo nhiều cách. Nhận thấy vai trò ngày càng tăng của ELK trong thế giới phân tích nhật ký, chúng tôi nghĩ sẽ rất thú vị khi so sánh các giải pháp hàng đầu bằng cách kiểm tra các tiêu chí quan trọng để kiểm tra khi xem xét sử dụng nền tảng ghi nhật ký ELK nào.

ELK là gì?

 ELK Stack bao gồm ba sản phẩm nguồn mở đồng nhất riêng biệt: Elaticsearch, Logstash và Kibana. Elaticsearch, có lẽ là thành phần nổi tiếng hơn trong ba thành phần, là công cụ tìm kiếm cung cấp năng lượng cho ngăn xếp. Dựa trên Apache Lucene, Elaticsearch có thể được sử dụng để thực hiện toàn văn và các tìm kiếm phức tạp khác. Logstash xử lý dữ liệu trước khi gửi nó đến Elaticsearch để lập chỉ mục và lưu trữ. Kibana là công cụ trực quan mà bạn có thể xem các thông điệp tường trình và tạo biểu đồ và trực quan hóa.

Tại sao ELK rất phổ biến?

ELK Stack là phổ biến vì một số lý do. Đầu tiên, các công ty CNTT đang chuyển ngày càng nhiều kiến ​​trúc của họ, bao gồm cả các hệ thống ghi nhật ký vào các công nghệ nguồn mở. Thứ hai, nền tảng khai thác hiện tại quá đắt đối với các công ty vừa và nhỏ. ELK, ví dụ, có thể không có tất cả các tính năng của Splunk, nhưng nó không cần tính năng phong phú đó. ELK là một nền tảng phân tích nhật ký đơn giản nhưng mạnh mẽ có giá chỉ bằng một phần nhỏ. Cộng đồng được tạo ra xung quanh ELK là một lý do khác cho sự phổ biến ngày càng tăng.

AWS Elaticsearch

Là nhà cung cấp dịch vụ đám mây hàng đầu, vấn đề chỉ còn là thời gian cho đến khi AWS giới thiệu giải pháp lưu trữ cho ELK .

Được giới thiệu vào tháng 10 năm ngoái, dịch vụ này cho phép người dùng AWS thiết lập và định cấu hình cụm Elaticsearch từ Bảng điều khiển quản lý AWS. Dịch vụ sau đó cung cấp tất cả các tài nguyên cho cụm và khởi chạy nó.

 Giám sát, sao lưu và bảo mật được xử lý bằng cách tích hợp với các dịch vụ AWS miễn phí. Các chính sách IAM (Quản lý danh tính và truy cập) kiểm soát quyền truy cập vào Elaticsearch, ảnh chụp nhanh tự động và thủ công lưu trữ dữ liệu trên S3 và CloudWatch và CloudTrail cung cấp dịch vụ giám sát và kiểm toán.

Khả năng mở rộng, vốn là vấn đề trong môi trường sản xuất lớn, không được tự động hóa. Người dùng dự kiến ​​sẽ giám sát cụm bằng cách sử dụng CloudWatch hoặc bất kỳ vũ khí nào khác và thêm tài nguyên theo cách thủ công khi có nhu cầu. Trong trường hợp lỗi nút, nút hỏng sẽ tự động được phát hiện và thay thế.

Quá trình phân tích cú pháp và ánh xạ nhật ký cần được người dùng xử lý một cách cẩn thận, với sự hỗ trợ đầy đủ cho Logstash.

Dịch vụ hiện đang được phát hành với Elaticsearch 1.5.2 và không rõ cách nâng cấp lên các phiên bản mới hơn và những gì xảy ra với dữ liệu trong giai đoạn chuyển tiếp.

Giá cho dịch vụ được trả khi bạn đi và theo chính sách của EC2. Một tùy chọn thú vị là sử dụng Cấp miễn phí để phát triển - với 750 giờ mỗi tháng cho một phiên bản AZ t2.micro duy nhất và 10GB một tháng lưu trữ EBS tùy chọn, nhưng bạn sẽ nhanh chóng vượt qua các giới hạn này với nhật ký sản xuất có kích thước hợp lý hệ thống. Giữ các tab trên chi phí AWS của bạn là một thách thức và rất có thể sẽ bắt buộc phải sử dụng dịch vụ quản lý chi phí đám mây.

Đám mây đàn hồi

Tổ chức thương mại đàn hồi đằng sau ELK Stack thụ động gần đây đã phát hành nền tảng đám mây của riêng mình có tên là Đàn hồi đám mây, dựa trên cơ sở hạ tầng AWS.

Elastic cung cấp tùy chọn dùng thử miễn phí trong 14 ngày, với bộ nhớ 1GB và 16GB để lưu trữ. Tạo một tài khoản rất dễ dàng, sau đó bạn được cấp quyền truy cập vào bảng điều khiển quản lý. Từ bảng điều khiển này, sau đó bạn có thể định cấu hình cụm mới của mình - kích thước, vùng, số lượng trung tâm dữ liệu bạn muốn sử dụng, phiên bản Elaticsearch bạn muốn sử dụng, số lượng phân đoạn và hơn thế nữa.

Để bảo mật và quản lý quyền truy cập của người dùng, bạn được cung cấp với Shield Shield (bạn không thể truy cập Kibana mà không bật và định cấu hình Shield trước). Bạn cũng được cấp quyền truy cập vào các dịch vụ Đàn hồi khác: Marvel, Sense, Timelion và Graph.

 Sao lưu nhật ký của bạn được chăm sóc bằng các ảnh chụp nhanh được thực hiện sau mỗi 30 phút và được lưu trữ trên S3.

 Giống như với AWS, việc chia tỷ lệ được thực hiện thủ công bởi người dùng, cũng như đường dẫn ghi nhật ký (tổng hợp, phân tích cú pháp và ánh xạ).

 Về giá cả, điều này tất nhiên phụ thuộc vào thiết lập cụm và nhu cầu của bạn. Một cụm có kích thước trung bình để sử dụng sản xuất, với 64GB bộ nhớ dành riêng và 1TB dung lượng lưu trữ dành riêng, sẽ có giá khoảng 2600 USD / tháng.

Logz.io

Nền tảng này cung cấp một cách tiếp cận hơi khác bằng cách cung cấp dịch vụ ELK hoàn chỉnh hơn. Logz.io đã thực hiện tốt công khai kiến ​​trúc của nền tảng, vì vậy một số thông tin có sẵn về cách họ xử lý dữ liệu đi vào hệ thống.

Nền tảng sử dụng Kafka làm hàng đợi tin nhắn cho tất cả các tin nhắn đến, bao gồm cả những tin nhắn từ Logstash (xếp hàng là cách thực hành tốt nhất cho các hệ thống ghi nhật ký và được sử dụng để không làm quá tải Elaticsearch). Là một phần của dịch vụ, Logz.io cung cấp phân tích tự động, tự động tắt và lập bản đồ tự động cho các bản ghi, vì vậy tất cả các đường ống nhập vào đều được xử lý tự động. 

Có nhiều tích hợp vận chuyển nhật ký khác nhau, vì vậy người dùng có thể nhanh chóng tích hợp các môi trường hiện có của họ và thiết lập một đường ống vận chuyển. Các chủ hàng chung như Filebeat, Logstash và rsyslog đều được hỗ trợ, cùng với hỗ trợ riêng cho AWS, Docker và các ngôn ngữ cụ thể.

Như với Đàn hồi và AWS, nhật ký có thể được lưu trữ lên S3.

 Logz.io cung cấp quyền truy cập dựa trên vai trò cho các tính năng quản lý người dùng và bảo mật cơ bản. Một tính năng quan trọng cần chỉ ra là khả năng tạo cảnh báo, dựa trên các tìm kiếm đã lưu, cho các sự kiện bạn muốn được thông báo, qua email hoặc chương trình trò chuyện (ví dụ: Slack).

 Một tính năng hay khác là ELK Apps - một tập hợp các trực quan hóa Kibana được tạo sẵn cho các loại nhật ký khác nhau (ví dụ: Apache, AWS, Docker).

 Có bản dùng thử miễn phí trong 14 ngày giới hạn vận chuyển tối đa 1GB mỗi ngày. Gói pro có giá 89 đô la một tháng và bao gồm 1GB một ngày vận chuyển gỗ với lưu giữ 14 ngày và lưu trữ S3.

Sematext Logsene

Logsene là dịch vụ ELK-as-a-Service của Sematext và khen ngợi các công cụ và dịch vụ phân tích khác mà Sematext cung cấp.

Tạo một ứng dụng Logsene mới là đủ dễ dàng và khi được tạo, bạn có thể sử dụng Giao diện người dùng Sematext để quản lý và phân tích nhật ký hoặc Kibana 4 tích hợp (bạn cũng có thể nối vào Kibana hoặc Grafana của riêng mình.) Như với Logz.io, Sematext cung cấp nhiều loại tích hợp với các phương thức và nền tảng ghi nhật ký tiêu chuẩn, nhưng một lần nữa, phân tích cú pháp bản ghi nhật ký và đường ống nhập là tùy thuộc vào người dùng.

Một tính năng đáng được đề cập là Live Tail để xem trực tiếp các tin nhắn đến - rất hữu ích để theo dõi môi trường của bạn đối với các lỗi xảy ra trong thời gian thực. Sematext cũng cung cấp một cơ chế cảnh báo tích hợp với các chương trình trò chuyện để bạn có thể nhận thông báo về các sự kiện.

Để theo dõi các số liệu hiệu suất trong môi trường của bạn, bạn có thể sử dụng dịch vụ SPM của Sematext trong cùng một giao diện người dùng, rất hữu ích để xác định mối tương quan trong dữ liệu.

Sematext bao gồm kiểm soát truy cập dựa trên vai trò đầy đủ với vai trò chủ sở hữu, quản trị viên và người dùng và cũng cung cấp tùy chọn tại cơ sở cho người dùng không thể gửi nhật ký lên đám mây.

Gói giá chuyên nghiệp có giá 60 đô la một tháng phục vụ cho 1GB mỗi ngày, lưu giữ 7 ngày và lưu trữ S3.

Tóm lược

Để tổng hợp mọi thứ, chúng tôi đã cung cấp một bảng so sánh dưới đây sẽ giúp bạn nhìn thấy bức tranh lớn. Những thách thức khác nhau đòi hỏi các giải pháp khác nhau. Tất cả phụ thuộc vào yêu cầu cụ thể của bạn.

Điều rõ ràng là nếu bạn đang tìm kiếm một giải pháp phân tích nhật ký dựa trên ELK như một dịch vụ đầu cuối, thì giải pháp được cung cấp bởi Logz.io là cung cấp phù hợp nhất và hiệu quả nhất. Nếu bạn đang tìm kiếm một giải pháp tìm kiếm duy nhất, Đàn hồi cung cấp một giải pháp tuyệt vời. AWS cung cấp một giải pháp chi phí thấp nhưng đòi hỏi một lượng công việc đáng kể để tích hợp với các dịch vụ AWS khác và thiết lập đường ống dẫn nhật ký. Sematext cung cấp một giải pháp tốt, và chúng tôi đặc biệt thích khái niệm đuôi sống, nhưng thấy giá hơi đắt.

|