Google I / O: Bán phá giá MapReduce


Đỗ Huân Võ
5 năm trước
Hữu ích 4 Chia sẻ Viết bình luận 0
Đã xem 7392

Gần mười năm trước, Google đã thay đổi thế giới Dữ liệu lớn khi phát hành một bài báo về MapReduce, một mô hình để làm việc với số lượng dữ liệu khổng lồ đã đạt được lực kéo ngay lập tức trong cộng đồng và tiếp tục, trong một thập kỷ, là chuẩn mực. Tuy nhiên, tại hội nghị nhà phát triển vào thứ Tư, Google đã đi theo xu hướng đang phát triển trong việc bán phá giá MapReduce để ủng hộ những gì họ gọi là Google Cloud Dataflow.

Forbes viết ,

Tuy nhiên, công ty nhận ra rằng thời gian đã trôi qua và cần có một công cụ rộng hơn cho phép nhập, chuyển đổi và phân tích dữ liệu theo cách bao trùm cả dữ liệu truyền phát và xử lý dữ liệu hàng loạt truyền thống. 

Dịch vụ này cũng là một phản ứng đối với một tập hợp dữ liệu đang tăng theo cấp số nhân để sàng lọc thông qua; mười năm trước, phương tiện truyền thông xã hội không phong phú, phổ biến hoặc được sử dụng rộng rãi; công nghệ thiết bị đeo gần như không phải là một ý nghĩ và phương tiện thống kê truyền thống để đào qua dữ liệu là quá đủ để cung cấp những hiểu biết có giá trị. Như Wired viết ,

Từ lâu, với một hệ thống phần mềm càn quét có tên MapReduce, Google đã đặt ra tiêu chuẩn để xử lý dữ liệu lớn. Nhờ một bản sao mã nguồn mở của MapReduce, Hadoop, phần còn lại của thế giới hiện đang xử lý dữ liệu theo những cách tương tự. Nhưng Hölzle nói rằng Google không còn sử dụng MapReduce nữa. Bây giờ nó sử dụng FlumeJava khác, còn gọi là FlumeJava, cho loại xử lý hàng loạt đồ sộ này.

Dịch vụ mới sẽ cho phép Google xây dựng các đường ống dữ liệu phức tạp hơn; nó cũng sẽ tích hợp với xử lý luồng MillWheel. Từ venturebeat ,

Nó có thể chạy một loạt các công việc điện toán, kiểu hàng loạt hoặc làm công việc liên tục khi dữ liệu chảy vào. Các kỹ sư có thể bắt đầu sử dụng dịch vụ trong đám mây công cộng đang phát triển của Google. Google đảm nhận việc quản lý mọi thứ.

Trong phạm vi bảo hiểm I / O khác của Google, hãy xem tin tức 5.0 hoặc cập nhật trên Internet of Things.

Hữu ích 4 Chia sẻ Viết bình luận 0
Đã xem 7392