Truyền dữ liệu trong thời gian thực là gì?
Truyền dữ liệu trong thời gian thực là việc thu thập và tải nhập chuỗi dữ liệu từ nhiều nguồn dữ liệu và xử lý dữ liệu đó trong thời gian thực để trích xuất ý nghĩa và thông tin chuyên sâu.
Ví dụ về dữ liệu truyền là các tệp bản ghi được tạo ra do khách hàng dùng ứng dụng di động hoặc ứng dụng web của bạn, các giao dịch mua thương mại điện tử, hoạt động của người chơi trong quá trình chơi trò chơi, thông tin từ mạng xã hội, sàn giao dịch tài chính hoặc dịch vụ không gian địa lý và dữ liệu từ xa từ các thiết bị hay phương tiện được kết nối tại các trung tâm dữ liệu.
Việc truyền dữ liệu trong thời gian thực cho phép bạn phân tích và xử lý dữ liệu trong thời gian thực, thay vì chờ hàng giờ, ngày hoặc tuần để nhận câu trả lời.
Truyền dữ liệu trong thời gian thực bao gồm những thành phần nào?
Nguồn: Lên đến hàng trăm, hàng nghìn thiết bị hoặc ứng dụng đang tạo ra khối lượng lớn dữ liệu liên tục với tốc độ cao. Ví dụ như thiết bị di động, ứng dụng web (luồng nhấp chuột), bản ghi ứng dụng, cảm biến IoT, thiết bị thông minh và ứng dụng chơi trò chơi.
Tải nhập luồng: Tích hợp đơn giản với hơn 15 dịch vụ AWS (Cổng API Amazon, AWS IoT Core, Amazon Cloudwatch, v.v.) cho phép bạn ghi lại dữ liệu liên tục được tạo ra từ hàng nghìn thiết bị một cách bền vững và an toàn.
Lưu trữ luồng: Chọn giải pháp đáp ứng nhu cầu lưu trữ của bạn dựa trên các yêu cầu về quy mô, độ trễ và khả năng xử lý như Luồng dữ liệu Amazon Kinesis, Firehose dữ liệu Amazon Kinesis và Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK).
Xử lý luồng: Chọn trong nhiều dịch vụ khác nhau, từ các giải pháp chỉ cần vài cú nhấp chuột để chuyển đổi và phân phối dữ liệu liên tục đến đích như Firehose dữ liệu Amazon Kinesis, cho đến các ứng dụng thời gian thực mạnh mẽ được tạo riêng và tích hợp máy học bằng cách sử dụng các dịch vụ như Dịch vụ được quản lý của Amazon dành cho Apache Flink và AWS Lambda.
Đích đến: Cung cấp dữ liệu truyền tới một số hồ dữ liệu, kho dữ liệu và dịch vụ phân tích được tích hợp đầy đủ để phân tích sâu hơn hoặc lưu trữ lâu dài, như Amazon S3, Amazon Redshift, Dịch vụ OpenSearch của Amazon và Amazon EMR.
Truyền dữ liệu trong thời gian thực có thể sử dụng trong những trường hợp nào?
Di chuyển dữ liệu trong thời gian thực
Khả năng truyền dữ liệu từ hàng trăm nghìn thiết bị và chuyển đổi ETL đối với khối lượng lớn dữ liệu liên tục, tốc độ cao trong thời gian thực giúp người dùng phân tích dữ liệu ngay sau khi dữ liệu được tạo ra, rồi lưu trữ dữ liệu lâu dài trong hồ dữ liệu, kho dữ liệu hoặc cơ sở dữ liệu để phân tích thêm.
Tìm hiểu cách WalkMe giải quyết các thách thức về giải trình tự khi truyền dữ liệu vào hồ dữ liệu
Tìm hiểu cách John Deere thực hiện truyền ETL vào hồ dữ liệu trong thời gian thực
Phân tích theo thời gian thực
Phân tích dữ liệu ngay sau khi dữ liệu được tạo ra và hỗ trợ việc ra quyết định trong thời gian thực trên toàn tổ chức nhằm tận dụng các cơ hội, nâng cao trải nghiệm của khách hàng, tránh lỗi mạng hoặc cập nhật các số liệu kinh doanh quan trọng trong thời gian thực.
Bản ghi: Ghi lại, xử lý và phân tích nhật ký từ ứng dụng của bạn trong thời gian thực.
Đọc về cách phân tích hành vi của người dùng trong thời gian thực
Tìm hiểu cách phân tích và trực quan hóa lưu lượng truy cập mạng VPC
Xem cách quản lý các bản ghi máy chủ Microsoft Exchange tập trung
Cập nhật trong thời gian thực: Tương tác với người tiêu dùng, người chơi trò chơi, nhà giao dịch tài chính, v.v. bằng cách cung cấp thông tin cập nhật trong thời gian thực cho các số liệu quan trọng với việc ra quyết định, các đề xuất ưu đãi và trải nghiệm của khách hàng.
Xem cách sử dụng số liệu phân tích trò chơi trong thời gian thực để làm hài lòng người chơi trò chơi
Tìm hiểu cách cung cấp tin tức thịnh hành và mang tính cá nhân hóa trong thời gian thực
Luồng nhấp chuột: Xem trong thời gian thực về hiệu suất của nội dung web và hoạt động tương tác của người dùng với các ứng dụng và trang web của bạn, bao gồm hành vi người dùng, thời gian đã sử dụng, nội dung phổ biến, v.v.
IoT: Kết nối với hàng trăm nghìn thiết bị IoT và thu thập, xử lý cũng như phân tích dữ liệu truyền trong thời gian thực.
Xử lý luồng sự kiện
Ghi lại và phản hồi các sự kiện khi chúng diễn ra trong thời gian thực trên nhiều ứng dụng. Các trường hợp sử dụng phổ biến nhất là giao tiếp giữa hàng trăm vi dịch vụ tách biệt và duy trì hệ thống hồ sơ thông qua Ghi dữ liệu thay đổi.
Giao tiếp giữa các vi dịch vụ tách biệt: Khi bất kỳ vi dịch vụ nào được kích hoạt, một sự kiện có thể được gửi đến luồng dữ liệu trong thời gian thực và các vi dịch vụ khác có thể “xem” luồng để biết liệu có sự kiện nào đã xảy ra để kích hoạt hành động bắt buộc hay không.
Tìm hiểu cách Lyft giao tiếp giữa hàng trăm vi dịch vụ trong thời gian thực
Ghi dữ liệu thay đổi: Tất cả các thay đổi về dữ liệu trên một số ứng dụng và cơ sở dữ liệu có thể được truyền đến hệ thống ghi trung tâm trong thời gian thực.
Tìm hiểu cách tải dữ liệu Ghi dữ liệu thay đổi từ cơ sở dữ liệu quan hệ
Tìm hiểu cách truyền Ghi dữ liệu thay đổi trong thời gian thực
AWS có những dịch vụ truyền dữ liệu nào?
AWS đưa ra nhiều lựa chọn để xử lý việc truyền dữ liệu trong thời gian thực.
- Luồng dữ liệu Amazon Kinesis là một dịch vụ truyền dữ liệu trong thời gian thực có độ bền và quy mô linh hoạt, có thể thu thập liên tục hàng gigabyte dữ liệu mỗi giây từ hàng trăm nghìn nguồn khác nhau.
- Firehose dữ liệu Amazon Kinesis thu thập, biến đổi và tải luồng dữ liệu lên kho dữ liệu AWS để phân tích gần như trong thời gian thực với những công cụ nghiệp vụ thông minh sẵn có, chỉ cần vài lần nhấp chuột.
- Dịch vụ được quản lý của Amazon dành cho Apache Flink chuyển đổi và phân tích dữ liệu truyền trong thời gian thực bằng Apache Flink, một khung và công cụ nguồn mở để xử lý các luồng dữ liệu.
- Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka là một dịch vụ được quản lý hoàn toàn, giúp bạn dễ dàng xây dựng và chạy các ứng dụng dùng Apache Kafka để xử lý dữ liệu truyền.
Bắt đầu truyền dữ liệu trong thời gian thực trên AWS bằng cách tạo tài khoản ngay hôm nay.
Các bước tiếp theo trên AWS
