IT <code> - Tag kafka [Bài viết]

Kafka, Avro serialization, và Schema Registry
3
hữu ích
7.3k xem

Kafka, Avro serialization, và Schema Registry

Confluent Schema Registry lưu trữ Avro Schemas cho các nhà sản xuất và người tiêu dùng Kafka. Schema Registry cung cấp giao diện RESTful để quản lý các lược đồ Avro và cho phép lưu trữ lịch sử của các lược đồ…
Kafka đang hoạt động: 7 bước để truyền phát thời gian thực từ RDBMS sang Hadoop
0
hữu ích
3.6k xem

Kafka đang hoạt động: 7 bước để truyền phát thời gian thực từ RDBMS sang Hadoop

Đối với các doanh nghiệp đang tìm cách để nhanh chóng nhập dữ liệu vào hồ dữ liệu Hadoop của họ, Kafka là một lựa chọn tuyệt vời. Kafka là gì? Kafka là một hệ thống nhắn tin phân tán, có thể mở rộng và đáng…
Kiến trúc Kafka
9
hữu ích
7.1k xem

Kiến trúc Kafka

Đầu tiên, nếu bạn không chắc chắn Kafka là gì, hãy xem  bài viết này . Kafka bao gồm các hồ sơ, chủ đề, người tiêu dùng, nhà sản xuất, môi giới, nhật ký, phân vùng và cụm. Bản ghi có thể có khóa (tùy chọn),…
Nhập dữ liệu với sự kiện gửi Flume đến Kafka
4
hữu ích
1.5k xem

Nhập dữ liệu với sự kiện gửi Flume đến Kafka

Nhập dữ liệu là gì? Ngày nhập là quá trình lấy dữ liệu từ một nơi nào đó như đăng nhập, cơ sở dữ liệu để sử dụng ngay lập tức hoặc để lưu trữ. Những dữ liệu này có thể được gửi trong thời gian thực hoặc…
TensorFlow + MQTT + Apache Kafka
7
hữu ích
9.0k xem

TensorFlow + MQTT + Apache Kafka

Tôi đã xây dựng một kịch bản cho một cơ sở hạ tầng Machine Learning lai tận dụng Apache Kafka như một hệ thống thần kinh trung ương có thể mở rộng. Đám mây công cộng được sử dụng để đào tạo các mô hình phân…
Đường ống dữ liệu thời gian thực với Kafka Connect
4
hữu ích
4.6k xem

Đường ống dữ liệu thời gian thực với Kafka Connect

Ewen Cheslack-Postava từ Confluent, đã có một cuộc nói chuyện rất thú vị về Kafka Connect. "Xây dựng đường ống dữ liệu thời gian thực với Kafka Connect và Spark Streaming ". Kafka Connect chạy như một cụm…
Xây dựng Đường ống ETL với Kết nối Kafka thông qua Trình kết nối JDBC
5
hữu ích
10k xem

Xây dựng Đường ống ETL với Kết nối Kafka thông qua Trình kết nối JDBC

Hướng dẫn: Khám phá cách xây dựng một đường ống dẫn với Kafka tận dụng trình điều khiển JDBC DataDirect PostgreQuery để chuyển dữ liệu từ PostgreQuery sang HDFS. Hãy phát trực tuyến! Apache Kafka là một nền…
Nhập dữ liệu lớn: Flume, Kafka và NiFi
1
hữu ích
8.2k xem

Nhập dữ liệu lớn: Flume, Kafka và NiFi

Khi xây dựng các đường ống dữ liệu lớn, chúng ta cần suy nghĩ về cách sử dụng khối lượng, sự đa dạng và tốc độ của dữ liệu hiển thị tại cổng của hệ sinh thái Hadoop. Những cân nhắc sơ bộ như khả năng mở rộng,…
Tham gia ngữ nghĩa trong luồng Kafka
8
hữu ích
10k xem

Tham gia ngữ nghĩa trong luồng Kafka

Trước khi bắt đầu, hãy giới thiệu ngắn gọn về một số chủ đề cốt lõi: Apache Kafka là một nền tảng phát trực tuyến phân tán cho phép bạn xuất bản và đăng ký một luồng các bản ghi, cũng cho phép bạn xử lý…
Giữ Lớp API Web trong Kafka bằng Proxy REST
8
hữu ích
3.7k xem

Giữ Lớp API Web trong Kafka bằng Proxy REST

Tôi đang dần tìm hiểu thêm về Kafka  và các giải pháp truyền dữ liệu và nhắn tin khác để đạt được lực kéo trong không gian API. Nếu bạn chưa đi tàu Kafka, theo trang web của họ : Kafka được sử dụng…
Phát triển các lược đồ Avro với Trình thu thập dữ liệu Apache Kafka và StreamSets
4
hữu ích
3.9k xem

Phát triển các lược đồ Avro với Trình thu thập dữ liệu Apache Kafka và StreamSets

Apache Avro được sử dụng rộng rãi trong hệ sinh thái Hadoop để tuần tự hóa dữ liệu một cách hiệu quả để có thể trao đổi giữa các ứng dụng được viết bằng nhiều ngôn ngữ lập trình. Avro cho phép dữ liệu tự…
Nhật ký khả năng và hiệu suất tổng hợp: Phần I
5
hữu ích
4.1k xem

Nhật ký khả năng và hiệu suất tổng hợp: Phần I

Ngày nay, không có câu hỏi nào về việc chúng ta tạo ra nhiều bản ghi hơn bao giờ hết. Tuy nhiên, do số lượng lớn dữ liệu liên tục phân tích và giải quyết các vấn đề khác nhau, quá trình này ngày càng trở…
Đường ống dữ liệu: Gửi nhật ký từ Kafka đến Cassandra
5
hữu ích
6.9k xem

Đường ống dữ liệu: Gửi nhật ký từ Kafka đến Cassandra

Trong bài đăng này, tôi sẽ phác thảo cách tôi tạo một đường truyền dữ liệu lớn cho nhật ký máy chủ web của mình bằng cách sử dụng Apache Kafka, Python và Apache Cassandra. Trong các bài viết trước…
Apache Kafka + KSQL + TensorFlow dành cho các nhà khoa học dữ liệu thông qua Python + Jupyter ...
10
hữu ích
8.2k xem

Apache Kafka + KSQL + TensorFlow dành cho các nhà khoa học dữ liệu thông qua Python + Jupyter ...

Tại sao một nhà khoa học dữ liệu sẽ sử dụng Kafka Jupyter Python KSQL TensorFlow tất cả cùng nhau trong một sổ ghi chép? Có một sự không phù hợp trở kháng giữa phát triển mô hình bằng Python và ngăn xếp…
Tuần này tại Hadoop và hơn thế nữa: Heron, Hadoop, Parsey McPudeface, Canxit
2
hữu ích
1.6k xem

Tuần này tại Hadoop và hơn thế nữa: Heron, Hadoop, Parsey McPudeface, Canxit

OpI đã viết hai bài báo về việc sử dụng dữ liệu lớn trong công việc thực tế. Đầu tiên là làm thế nào để nhập dữ liệu với Apache Spark và Apache Zeppelin với các ví dụ mã .  Tôi cũng đã nghiên cứu về sự thay…

15 30 50 mỗi trang