Bắt đầu sử dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink
Tại sao nên chọn Dịch vụ được quản lý dành cho Apache Flink?
Xây dựng ứng dụng truyền liên tục với Apache Flink và Apache Beam
1. Bước 1: Tải xuống thư viện nguồn mở vào IDE yêu thích của bạn
Bạn có thể bắt đầu bằng cách tải xuống các thư viện nguồn mở bao gồm AWS SDK, Apache Flink và bộ kết nối cho dịch vụ AWS.
2. Bước 2: Tạo một ứng dụng mẫu bằng Apache Flink hoặc Apache Beam
Bạn viết mã ứng dụng Apache Flink bằng cách sử dụng luồng dữ liệu và toán tử luồng. Luồng dữ liệu ứng dụng là cấu trúc dữ liệu bạn thực hiện xử lý bằng cách sử dụng mã ứng dụng của bạn. Dữ liệu liên tục truyền từ nguồn vào luồng dữ liệu ứng dụng. Một hoặc nhiều toán tử luồng được sử dụng để xác định quá trình xử lý của bạn trên các luồng dữ liệu ứng dụng.
3. Bước 3: Tải mã của bạn lên Dịch vụ được quản lý của Amazon dành cho Apache Flink
Sau khi xây dựng, hãy tải mã của bạn lên Dịch vụ được quản lý của Amazon dành cho Apache Flink. Dịch vụ này sẽ xử lý mọi thao tác cần thiết để chạy liên tục các ứng dụng theo thời gian thực, bao gồm tự động điều chỉnh quy mô để phù hợp với khối lượng và thông lượng dữ liệu đến của bạn.
Sử dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink một cách trực quan
1. Bước 1: Tạo một ứng dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink
Bắt đầu từ bảng điều khiển Dịch vụ được quản lý của Amazon dành cho Apache Flink, Amazon MSK, hoặc Luồng dữ liệu Amazon Kinesis. Sử dụng các bộ kết nối tùy chỉnh để kết nối với bất kỳ nguồn dữ liệu nào khác.
2. Bước 2: Viết mã trong sổ tay phi máy chủ bằng SQL, Python và Scala, cũng như phát triển các ứng dụng Apache Flink
Chạy các đoạn riêng lẻ trong sổ tay, xem kết quả trong ngữ cảnh và sử dụng công cụ trực quan hóa tích hợp sẵn của Apache Zeppelin để đẩy nhanh tốc độ phát triển. Bạn cũng có thể sử dụng các hàm do người dùng xác định trong mã của bạn.
3. Bước 3: Xây dựng và triển khai dưới dạng một ứng dụng truyền liên tục Dịch vụ được quản lý của Amazon dành cho Apache Flink
Triển khai mã của bạn dưới dạng ứng dụng xử lý luồng chạy liên tục chỉ trong vài bước. Ứng dụng được triển khai của bạn sẽ là một ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink với trạng thái bền vững và khả năng tự động điều chỉnh quy mô. Bạn cũng sẽ có thể thay đổi nguồn, đích đến, bản ghi và mức giám sát trước khi bạn đưa mã vào môi trường sản xuất.
Học trực tuyến
Trong hội thảo này, bạn sẽ xây dựng một kiến trúc truyền liên tục từ đầu đến cuối để tải nhập, phân tích và trực quan hóa dữ liệu truyền liên tục gần với thời gian thực. Bạn sẽ bắt đầu tối ưu hóa hoạt động vận hành đội xe của một công ty taxi ở Thành phố New York bằng cách phân tích dữ liệu đo từ xa của đội xe taxi đó gần với thời gian thực.
Sử dụng giải pháp được tạo sẵn để nhanh chóng bắt đầu. Với Giải pháp dữ liệu truyền liên tục trên AWS dành cho Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có thể giải quyết các trường hợp sử dụng truyền liên tục theo thời gian thực, chẳng hạn như thu thập bản ghi ứng dụng khối lượng lớn, phân tích dữ liệu luồng nhấp chuột, liên tục phân phối đến hồ dữ liệu và nhiều hơn thế nữa.
Trong hội thảo này, bạn sẽ tạo một ứng dụng xử lý luồng để xác định những khách hàng vào casino của bạn và đặt cược nhiều tiền. Ứng dụng sẽ gửi cho bạn một email khi những người chi nhiều tiền ngồi xuống bàn đánh bạc. Bạn cũng sẽ xác định các bàn cần bổ sung chip và xác định những kẻ gian lận tiềm ẩn trong casino của bạn thông qua các mẫu hình đặt cược và chiến thắng của họ.
Trong loạt bài học năm phần này, bạn sẽ xây dựng kiến trúc truyền liên tục dữ liệu hiện đại cho bảng xếp hạng trò chơi thời gian thực bằng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink. Kiến trúc này bao gồm tải nhập dữ liệu, làm phong phú dữ liệu thời gian thực với tính năng thu thập dữ liệu thay đổi (CDC) của cơ sở dữ liệu, xử lý dữ liệu, cũng như tính toán, lưu trữ và trực quan hóa kết quả.