« Phân tích

Firehose dữ liệu Amazon

Tải các luồng dữ liệu theo thời gian thực vào hồ dữ liệu, kho và dịch vụ phân tích một cách đáng tin cậy

Dễ dàng thu thập, chuyển đổi và tải dữ liệu phát trực tiếp. Tạo luồng phân phối, lựa chọn điểm đích của bạn và bắt đầu phát trực tiếp dữ liệu theo thời gian thực chỉ với vài cú nhấp chuột.

Tự động cung cấp và mở rộng quy mô các tài nguyên điện toán, bộ nhớ và mạng mà không cần quản trị liên tục.

Chuyển đổi dữ liệu thô phát trực tiếp thành các định dạng như Apache Parquet, đồng thời chủ động phân vùng dữ liệu phát trực tiếp mà không cần xây dựng các đường ống xử lý của riêng bạn.

Cách hoạt động

Firehose dữ liệu Amazon mang đến cách dễ nhất để thu thập, chuyển đổi và phân phối luồng dữ liệu trong vài giây đến hồ dữ liệu, kho dữ liệu và dịch vụ phân tích. Để sử dụng Firehose dữ liệu Amazon, bạn thiết lập luồng với nguồn, đích và các phép chuyển đổi bắt buộc. Firehose dữ liệu Amazon liên tục xử lý luồng, tự động điều chỉnh quy mô dựa trên lượng dữ liệu có sẵn và phân phối dữ liệu trong vòng vài giây.

Nguồn

Chọn nguồn cho luồng dữ liệu, chẳng hạn như chủ đề trong Dịch vụ truyền được quản lý của Amazon dành cho Kafka (MSK), luồng trong Luồng dữ liệu Kinesis, hoặc ghi dữ liệu bằng API PUT trực tiếp của Firehose. Firehose dữ liệu Amazon được tích hợp vào hơn 20 dịch vụ AWS. Vì vậy, bạn có thể thiết lập luồng từ các nguồn như Bản ghi Amazon CloudWatch, Bản ghi AWS WAF ACL web, Bản ghi Tường lửa mạng của AWS, Amazon SNS hoặc AWS IoT.

Chuyển đổi dữ liệu (không bắt buộc)

Chỉ định nếu bạn muốn chuyển đổi luồng dữ liệu thành các định dạng như Parquet hoặc ORC, giải nén dữ liệu, thực hiện chuyển đổi dữ liệu tùy chỉnh bằng hàm AWS Lambda của riêng bạn hoặc linh hoạt phân vùng các bản ghi đầu vào dựa trên thuộc tính để phân phối vào các vị trí khác nhau.

Điểm đích

Chọn điểm đích cho luồng, chẳng hạn như Amazon S3, Dịch vụ OpenSearch của Amazon, Amazon Redshift, Splunk, Snowflake hoặc điểm cuối HTTP tùy chỉnh.

Để biết thêm thông tin về Firehose dữ liệu Amazon, hãy xem Tài liệu về Firehose dữ liệu Amazon.

Sơ đồ minh họa cách thiết lập luồng phân phối dữ liệu bằng Firehose Amazon. Nội dung mô tả tại liên kết: “Phóng to và đọc mô tả hình ảnh”.

Trường hợp sử dụng

Truyền vào kho và hồ dữ liệu

Truyền dữ liệu vào Amazon S3 và chuyển đổi dữ liệu sang các định dạng được yêu cầu để phân tích mà không cần xây dựng quy trình xử lý.

Tăng cường bảo mật

Giám sát an ninh mạng theo thời gian thực và tạo cảnh báo khi phát sinh các mối đe dọa tiềm ẩn sử dụng các công cụ Quản lý sự kiện và thông tin bảo mật (SIEM) được hỗ trợ.

Xây dựng ứng dụng phát trực tuyến ML

Củng cố các luồng dữ liệu của bạn bằng các mô hình máy học (ML) để phân tích dữ liệu và dự đoán các điểm cuối suy luận khi các luồng di chuyển đến đích.