IT <code> - Tag tia lửa apache [Bài viết]

Cách sử dụng chuyển đổi dữ liệu động trong Spark
4
hữu ích
4.6k xem

Cách sử dụng chuyển đổi dữ liệu động trong Spark

Dynamic Transpose là một biến đổi quan trọng trong Spark, vì nó đòi hỏi rất nhiều lần lặp. Bài viết này sẽ cung cấp cho bạn một ý tưởng rõ ràng về cách xử lý tình huống phức tạp này với các toán tử trong bộ…
Giới thiệu về Spark với Python: PySpark cho người mới bắt đầu
7
hữu ích
13k xem

Giới thiệu về Spark với Python: PySpark cho người mới bắt đầu

Apache Spark là một trong những khung được sử dụng rộng rãi nhất khi xử lý và làm việc với Big Data và Python là một trong những ngôn ngữ lập trình được sử dụng rộng rãi nhất cho Phân tích dữ liệu, Học máy và…
Apache Spark: Xử lý dấu thời gian Null khi đọc CSV trong Spark 2.0.0
6
hữu ích
9.2k xem

Apache Spark: Xử lý dấu thời gian Null khi đọc CSV trong Spark 2.0.0

Trong blog này, tôi sẽ thảo luận về một vấn đề mà tôi gặp phải gần đây. Một điều cần lưu ý là vấn đề này liên quan cụ thể đến phiên bản Spark 2.0.0. Khác với phiên bản này, vấn đề này không xảy ra. Vấn đề:…
Apache Spark và Apache Zeppelin: Điều gì đến trong HDP 2.4.2
1
hữu ích
5.4k xem

Apache Spark và Apache Zeppelin: Điều gì đến trong HDP 2.4.2

Vào tháng 3 năm 2016, chúng tôi đã công bố Apache Spark 1.6 GA trên HDP 2.4 và cung cấp bản xem trước kỹ thuật thứ 2 của Apache Zeppelin. Kể từ đó, Apache Spark 1.6.1, một bản phát hành bản vá với sửa lỗi,…
Phân tích dữ liệu đơn giản bằng Apache Spark
0
hữu ích
12k xem

Phân tích dữ liệu đơn giản bằng Apache Spark

Apache Spark là một khung công tác cho điện toán phân tán. Một chương trình Spark điển hình chạy song song với nhiều nút trong một cụm. Để biết chi tiết và giới thiệu tuyệt vời về Spark, vui lòng xem trang…
Spark sử dụng MapReduce như thế nào?
11
hữu ích
4.3k xem

Spark sử dụng MapReduce như thế nào?

Trong bài viết này, chúng ta sẽ nói về một kịch bản thú vị: Spark có sử dụng MapReduce hay không? Câu trả lời cho câu hỏi là có - nhưng chỉ có ý tưởng, không thực hiện chính xác. Hãy nói về một ví dụ. Để đọc…
Phân tích dữ liệu Twitter với Spark và Algebird
6
hữu ích
8.8k xem

Phân tích dữ liệu Twitter với Spark và Algebird

Algebird là một thư viện mã nguồn mở cung cấp đại số trừu tượng cho Scala và thực hiện một số cấu trúc dữ liệu xác suất. Algebird được thiết kế trên Twitter với mục tiêu đơn giản hóa việc xây dựng các hệ…
Độ phân tách với Spark GraphX
0
hữu ích
2.3k xem

Độ phân tách với Spark GraphX

Với sự xuất hiện của Apache Spark, việc phân tích dữ liệu lớn trở nên dễ dàng hơn. Spark thực hiện rất nhiều thuật toán hữu ích để khai thác dữ liệu, phân tích dữ liệu, học máy và thuật toán trên biểu đồ.…
Cung cấp năng lượng xử lý dữ liệu lớn trong Postgres với Apache Spark
0
hữu ích
3.1k xem

Cung cấp năng lượng xử lý dữ liệu lớn trong Postgres với Apache Spark

Postgres đóng vai trò trung tâm trong trung tâm dữ liệu tích hợp ngày nay. Một tính năng mạnh mẽ được gọi là Gói dữ liệu nước ngoài (FDW) trong Postgres hỗ trợ tích hợp dữ liệu bằng cách kết hợp dữ liệu từ…
Phân biệt nhạc Pop với kim loại nặng bằng Apache Spark MLlib
6
hữu ích
3.6k xem

Phân biệt nhạc Pop với kim loại nặng bằng Apache Spark MLlib

Học máy cho các kỹ sư Java? Máy học ngày nay đã vượt qua. Có một niềm tin mạnh mẽ rằng khu vực này dành riêng cho các nhà khoa học dữ liệu với nền tảng toán học sâu tận dụng Python (scikit-learn, Theano,…
Giám sát Apache Spark: Tại sao nó đầy thách thức?
0
hữu ích
2.9k xem

Giám sát Apache Spark: Tại sao nó đầy thách thức?

Xử lý dữ liệu quy mô lớn đã chuyển sang một thời đại mới của sự tinh tế và bằng chứng lớn nhất là yêu cầu ngày càng tăng để xử lý dữ liệu trong thời gian thực. Các trình điều khiển cho động thái này rất…
RDD trong Spark là gì và tại sao chúng ta cần nó?
3
hữu ích
17k xem

RDD trong Spark là gì và tại sao chúng ta cần nó?

Nói chung, Apache Spark đã vượt qua Hadoop (MapReduce), vì nhiều lợi ích mà nó mang lại về mặt thực thi nhanh hơn trong các thuật toán xử lý lặp như Học máy. Trong bài đăng này, chúng tôi sẽ cố gắng hiểu…
Cách sử dụng chuyển đổi ngược trong Spark
2
hữu ích
1.8k xem

Cách sử dụng chuyển đổi ngược trong Spark

Trong một bài viết trước , tôi đã chia sẻ cách thực hiện chuyển vị dữ liệu bằng cách sử dụng các kiểu dữ liệu phức tạp trong Apache Spark. Trong bài viết này, chúng tôi sẽ đảo ngược dữ liệu mẫu chuyển đổi dựa…
Bắt đầu với Spark Streaming
4
hữu ích
10k xem

Bắt đầu với Spark Streaming

Bài đăng này sẽ giúp bạn bắt đầu sử dụng  Apache Spark Streaming  với HBase. Spark Streaming là một phần mở rộng của Spark API lõi cho phép xử lý luồng dữ liệu liên tục. Spark Streaming là gì? Trước hết,…
Spark SQL: Hướng dẫn giới thiệu
4
hữu ích
14k xem

Spark SQL: Hướng dẫn giới thiệu

1. Mục tiêu Apache SparkQuery là một mô-đun Spark để đơn giản hóa việc làm việc với dữ liệu có cấu trúc bằng cách sử dụng các tóm tắt DataFrame và Data set trong Python, Java và  Scala . Những tóm tắt này…

15 30 50 mỗi trang