Làm thế nào microservice là bắt buộc để quản lý hồ dữ liệu Bedrock


Hoàng Việt Dũng
3 năm trước
Hữu ích 7 Chia sẻ Viết bình luận 0
Đã xem 3246

Microservice là một yếu tố quyết định chính của việc triển khai lớn, có thể mở rộng, sử dụng tối ưu phần cứng. Các công ty như Netflix đã đi tiên phong trong việc sử dụng và đã cho thấy lời hứa về những gì họ có thể đạt được. Netflix đã sử dụng microservice để hỗ trợ hơn 35% lưu lượng tải xuống internet ở Bắc Mỹ.

Tận dụng microservice yêu cầu phát triển phần mềm trong một kiến ​​trúc cho phép triển khai các chương trình hoặc dịch vụ nhỏ, mô-đun giao tiếp theo cách được xác định rõ. Bằng cách triển khai các dịch vụ trên phần cứng riêng biệt, phần mềm có thể nhanh chóng mở rộng quy mô để xử lý các tải cao hơn. Ngoài ra, bằng cách phát triển các kênh truyền thông được xác định rõ, tính sẵn sàng cao có thể đạt được. Về cơ bản, trong trường hợp một quá trình chết, có khả năng chịu lỗi để đảm bảo rằng quy trình bắt đầu lại.

Việc triển khai Hadoop hứa hẹn sẽ làm việc với việc nhập, phân tích và quản lý các bộ dữ liệu lớn. Dữ liệu có thể được lấy từ cơ sở hạ tầng hiện có (Máy tính lớn, Kho dữ liệu (DW), tệp phẳng, v.v.) hoặc từ các nguồn mới (các sản phẩm SaaS như Salesforce, Nguồn cấp từ các dịch vụ như Twitter, v.v.) cơ sở hạ tầng cung cấp khả năng mở rộng trong toàn bộ quy trình quản lý dữ liệu và microservice là một cách lý tưởng để đạt được mục tiêu đó. Mặc dù, các chương trình cũ có thể thực hiện một số mô-đun, nhưng đó là một thay đổi kiến ​​trúc lớn có thể đòi hỏi đầu tư đáng kể để đạt được nhiều lợi ích. Phương pháp lý tưởng là xây dựng một sản phẩm từ đầu với kiến ​​trúc mô đun.

Quản lý hồ dữ liệu Bedrock của Zaloninền tảng được xây dựng theo mô-đun, sử dụng microservice, để kích hoạt, điều phối và quản lý cơ sở hạ tầng Hadoop. Nó được xây dựng để quản lý mọi vận tốc, sự đa dạng và khối lượng dữ liệu miễn là có phần cứng để hỗ trợ nó. Bedrock tận dụng hai Dịch vụ vi mô quan trọng - Đại lý thu thập dữ liệu Bedrock (BDCA) và Công ty thực thi quy trình công việc (WFE), trong số những người khác. BDCA giúp quản lý sự di chuyển vào và ra khỏi Hồ dữ liệu cũng như trong chính Hồ. WFE quản lý các công việc được chạy trong Hadoop và liên lạc với Bedrock về trạng thái thực thi. Hai microservice này có thể được triển khai trên cùng một nút Edge mà Bedrock cư trú. Khi kinh doanh phát triển và cần thay đổi, BDCA và WFE có thể được chạy trên nhiều nút cạnh nếu cần. Điều này cho phép nhiều "ống dẫn" hơn vào trung tâm của công cụ xử lý dữ liệu và cuối cùng là tăng hiệu suất.

Hữu ích 7 Chia sẻ Viết bình luận 0
Đã xem 3246