Amazon Kinesis Data Firehose

Chuẩn bị và tải luồng dữ liệu thời gian thực lên các kho dữ liệu và công cụ phân tích

Amazon Kinesis Data Firehose là cách thức dễ dàng nhất để tải dữ liệu phát trực tuyến vào kho dữ liệu, kho lưu trữ dữ liệu và công cụ phân tích một cách đáng tin cậy. Dịch vụ này có khả năng thu thập, chuyển đổi và phát trực tuyến dữ liệu lên Amazon S3, Amazon Redshift, Amazon Elasticsearch Service và Splunk, cho phép thực hiện các phân tích gần theo thời gian thực bằng công cụ nghiệp vụ thông minh và bảng thông tin hiện tại mà bạn hiện vẫn đang sử dụng. Đây là một dịch vụ được quản lý hoàn toàn, tự động thay đổi quy mô để phù hợp với lưu lượng dữ liệu và không cần quản trị liên tục. Công cụ này còn có thể chia lô, nén, chuyển đổi và mã hóa dữ liệu trước khi tải, nhờ đó giảm thiểu lượng dung lượng lưu trữ sử dụng tại điểm đích và tăng độ bảo mật.

Bạn có thể dễ dàng tạo luồng phân phối Firehose từ Bảng điều khiển quản lý AWS, cấu hình luồng này chỉ bằng vài lần nhấp chuột và bắt đầu gửi dữ liệu đến luồng từ hàng trăm trong số hàng nghìn nguồn dữ liệu cần tải liên tục lên AWS – tất cả chỉ trong vài phút. Bạn cũng có thể cấu hình luồng phân phối của mình để tự động chuyển đổi dữ liệu đến thành các định dạng cột như Apache Parquet và Apache ORC, trước khi dữ liệu được phân phối đến Amazon S3, để phân tích và lưu trữ tiết kiệm chi phí.

Với Kinesis Data Firehose, bạn chỉ phải trả tiền cho lượng dữ liệu bạn truyền qua dịch vụ và phí chuyển đổi định dạng dữ liệu nếu có. Không có mức phí tối thiểu hay phí cài đặt.

Video: Amazon Kinesis Data Firehose là gì?

Lợi ích

Dễ sử dụng

Amazon Kinesis Data Firehose cung cấp cách thức dễ dàng để ghi lại, chuyển đổi và tải dữ liệu phát trực tuyến với chỉ vài cú nhấp chuột trong Bảng điều khiển quản lý AWS. Bạn chỉ cần tạo luồng phân phối Firehose, chọn đích đến là có thể bắt đầu gửi dữ liệu thời gian thực từ hàng trăm nghìn nguồn dữ liệu ngay lập tức. Dịch vụ sẽ đảm nhiệm phần quản lý luồng, bao gồm toàn bộ tác vụ thay đổi quy mô, phân mảnh và theo dõi cần thực hiện để tải liên tục dữ liệu đến điểm đích theo các khoảng thời gian bạn chọn.

Tích hợp với các kho lưu trữ dữ liệu và kho dữ liệu AWS

Amazon Kinesis Data Firehose được tích hợp với Amazon S3, Amazon Redshift và Amazon Elasticsearch Service. Từ Bảng điều khiển quản lý AWS, bạn có thể chỉ định Kinesis Data Firehose đến bộ chứa Amazon S3, bảng Amazon Redshift hoặc miền của Amazon Elasticsearch. Sau đó, bạn có thể sử dụng các ứng dụng và công cụ phân tích hiện hữu để phân tích dữ liệu phát trực tuyến.

Chuyển đổi dữ liệu serverless

Amazon Kinesis Data Firehose đem đến cho bạn khả năng chuẩn bị dữ liệu phát trực tuyến trước khi tải lên kho dữ liệu. Với Kinesis Data Firehose, bạn sẽ có thể dễ dàng chuyển đổi dữ liệu phát trực tuyến thô từ các nguồn dữ liệu thành các định dạng mà kho dữ liệu đích của bạn yêu cầu mà không phải dựng hệ thống xử lý dữ liệu riêng. Tìm hiểu thêm »

Gần theo thời gian thực

Amazon Kinesis Data Firehose thu nhận và tải dữ liệu với tốc độ gần như theo thời gian thực. Dịch vụ sẽ tải dữ liệu mới vào Amazon S3, Amazon Redshift, Amazon Elasticsearch Service và Splunk trong vòng 60 giây sau khi dữ liệu được gửi đến dịch vụ. Kết quả là, bạn sẽ có thể truy cập dữ liệu mới sớm hơn và ứng phó các sự cố hoạt động và kinh doanh.

Không tiếp nhận liên tục

Amazon Kinesis Data Firehose là dịch vụ được quản lý toàn phần có chức năng tự động cung cấp, quản lý và thay đổi quy mô điện toán, bộ nhớ và tài nguyên mạng cần để tải dữ liệu phát trực tuyến của bạn. Sau khi đã cài đặt xong, Kinesis Data Firehose sẽ tải dữ liệu liên tục khi nhận được dữ liệu.

Bạn chỉ phải trả tiền cho những gì bạn sử dụng

Với Amazon Kinesis Data Firehose, bạn chỉ phải trả tiền cho lượng dữ liệu bạn truyền qua dịch vụ và phí chuyển đổi định dạng dữ liệu nếu có. Không áp dụng mức phí tối thiểu hay cam kết trả trước.

Cách thức hoạt động

product-page-diagram_Amazon-Kinesis-Data-Firehose

Trường hợp sử dụng

Amazon Kinesis Data Firehose là cách thức dễ dàng nhất để tải dữ liệu phát trực tuyến vào kho dữ liệu, kho lưu trữ dữ liệu và công cụ phân tích một cách đáng tin cậy. Dịch vụ này có khả năng thu thập, chuyển đổi và phát trực tuyến dữ liệu lên Amazon S3, Amazon Redshift, Amazon Elasticsearch Service và Splunk, cho phép thực hiện các phân tích gần theo thời gian thực bằng công cụ nghiệp vụ thông minh và bảng thông tin hiện tại mà bạn hiện vẫn đang sử dụng. Dưới đây là những ví dụ về các trường hợp sử dụng chính mà khách hàng của chúng tôi giải quyết bằng Amazon Kinesis Firehose. 

IoT Analytics

Với Amazon Kinesis Data Firehose, bạn sẽ có thể dễ dàng ghi lại dữ liệu liên tục từ các thiết bị được kết nối như thiết bị dân dụng, cảm biến tích hợp và thiết bị giải mã tín hiệu truyền hình của TV. Kinesis Data Firehose sẽ tải dữ liệu vào Amazon S3 và Amazon Redshift, cho phép bạn cung cấp khả năng truy cập gần như theo thời gian thực vào các chỉ số, thông tin chuyên sâu và bảng thông tin cho khách hàng của mình.

Phân tích luồng nhấp chuột

Bạn có thể sử dụng Amazon Kinesis Data Firehose để cung cấp chỉ số thời gian thực về nội dung kỹ thuật số và cho phép tác giả cũng như chuyên gia tiếp thị kết nối với khách hàng một cách hiệu quả nhất. Bạn có thể phân luồng hàng tỷ tin nhắn nhỏ được nén, mã hóa và phân phối đến Amazon Elasticsearch Service và Amazon Redshift. Từ đó, bạn sẽ có thể tổng hợp, lọc và xử lý dữ liệu cũng như làm mới bảng thông tin hiệu suất của nội dung trong gần như thời gian thực. Ví dụ: Hearst Corporation đã xây dựng một công cụ phân tích luồng nhấp chuột bằng cách sử dụng Kinesis Data Firehose để truyền và xử lý 30 terabyte dữ liệu mỗi ngày từ trên 300 trang web trên khắp thế giới. Với nền tảng này, Hearst đã có thể cung cấp toàn bộ luồng dữ liệu – từ lượt nhấp trang web đến chỉ số tổng hợp – cho biên tập viên chỉ trong vài phút. Đọc nghiên cứu điển hình »

Phân tích nhật ký

Dữ liệu nhật ký từ ứng dụng của bạn và máy chủ chạy trên đám mây cũng như tại chỗ có khả năng giúp bạn theo dõi ứng dụng và khắc phục sự cố nhanh chóng. Ví dụ: bạn có thể phát hiện lỗi ngay khi xảy ra và xác định nguyên nhân gốc rễ bằng cách thu thập, theo dõi và phân tích dữ liệu nhật ký. Bạn có thể dễ dàng cài đặt Amazon Kinesis Agent trên máy chủ của bạn để tự động theo dõi ứng dụng và tệp nhật ký máy chủ rồi gửi dữ liệu về Kinesis Data Firehose. Kinesis Data Firehose sẽ liên tục phát trực tuyến dữ liệu nhật ký đến Amazon Elasticsearch Service để bạn có thể trực quan hóa và phân tích dữ liệu bằng Kibana. 

Theo dõi bảo mật

Kinesis Data Firehose hỗ trợ Splunk làm điểm đích. Nghĩa là, bạn sẽ có thể ghi lại và gửi nhật ký luồng lưu lượng mạng đến Kinesis Data Firehose, sau đó, dịch vụ sẽ chuyển đổi, bổ sung rồi tải dữ liệu lên Splunk. Với giải pháp này, bạn sẽ có thể theo dõi tình hình an ninh mạng theo thời gian thực và phát cảnh báo ngay khi có hiểm họa tiềm ẩn nảy sinh.

Bắt đầu sử dụng Amazon Kinesis Data Firehose

Step 1 - Sign up for an AWS account

Đăng ký tài khoản AWS

Nhận quyền sử dụng ngay lập tức Bậc miễn phí của AWS.
icon2

Tham khảo hướng dẫn dành cho nhà phát triển

Tìm hiểu về Kinesis Data Firehose từ  hướng dẫn dành cho nhà phát triển.
icon3

Bắt đầu phát trực tuyến luồng dữ liệu của bạn

Thử trải nghiệm thực tế bằng hướng dẫn này.

Tìm hiểu thêm về các tính năng của Amazon Kinesis Data Firehose

Truy cập trang tính năng
Bạn đã sẵn sàng để bắt đầu chưa?
Đăng ký
Bạn có thêm câu hỏi?
Hãy liên hệ với chúng tôi