Câu hỏi thường gặp về Dịch vụ được quản lý của Amazon dành cho Apache Flink

Đăng nhập vào bảng điều khiển của Dịch vụ được quản lý của Amazon dành cho Apache Flink và tạo một ứng dụng xử lý luồng mới. Bạn cũng có thể sử dụng AWS CLI và AWS SDK. Sau khi bạn tạo một ứng dụng, hãy chuyển đến môi trường phát triển tích hợp tùy chọn, kết nối với AWS và cài đặt các thư viện Apache Flink mã nguồn mở và AWS SDK bằng ngôn ngữ tùy chọn. Apache Flink là một khung và công cụ mã nguồn mở có chức năng xử lý luồng dữ liệu và AWS SDK. Các thư viện có thể mở rộng bao gồm hơn 25 toán tử xử lý luồng được xây dựng sẵn, chẳng hạn như cửa sổ và tổng hợp, cũng như các tích hợp dịch vụ AWS như Amazon MSK, Luồng dữ liệu Amazon Kinesis, Amazon DynamoDB và Firehose dữ liệu Amazon Kinesis. Sau khi xây dựng, hãy tải mã của bạn lên Dịch vụ được quản lý của Amazon dành cho Apache Flink. Sau đó, dịch vụ này sẽ xử lý mọi thao tác cần thiết để chạy liên tục các ứng dụng theo thời gian thực, bao gồm tự động điều chỉnh quy mô để phù hợp với khối lượng và thông lượng dữ liệu đến của bạn.

Việc sử dụng Apache Beam để tạo ra ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink cũng rất giống với việc bắt đầu sử dụng Apache Flink. Bạn có thể làm theo các hướng dẫn như đã giải đáp ở câu hỏi trên. Hãy đảm bảo rằng bạn cài đặt mọi thành phần cần thiết để các ứng dụng chạy trên Apache Beam, làm theo hướng dẫn trong Hướng dẫn dành cho nhà phát triển. Lưu ý rằng Dịch vụ được quản lý của Amazon dành cho Apache Flink chỉ hỗ trợ Java SDK khi chạy trên Apache Beam.

Bạn có thể bắt đầu từ bảng điều khiển của Dịch vụ được quản lý của Amazon dành cho Apache Flink và tạo sổ tay Studio mới. Khi khởi động sổ tay, bạn có thể mở nó trong Apache Zeppelin để ngay lập tức viết mã bằng ngôn ngữ SQL, Python hoặc Scala. Bạn có thể phát triển ứng dụng theo cách tương tác bằng giao diện sổ tay dành cho Luồng dữ liệu Amazon Kinesis, Amazon MSK và Amazon S3 bằng cách sử dụng các thành phần tích hợp sẵn và các nguồn và đích đến có hỗ trợ Apache Flink khác, kèm theo các bộ kết nối tùy chỉnh. Bạn có thể sử dụng tất cả các toán tử mà Apache Flink hỗ trợ trong Flink SQL và API bảng để thực hiện truy vấn luồng dữ liệu đặc thù và phát triển ứng dụng xử lý luồng của bạn. Khi đã sẵn sàng, chỉ với vài bước, bạn sẽ có thể xây dựng và đưa mã của mình lên một ứng dụng xử lý luồng chạy liên tục với tính năng tự động điều chỉnh quy mô và trạng thái bền vững. 

Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể điều chỉnh quy mô linh hoạt cho ứng dụng của bạn sao cho phù hợp với thông lượng dữ liệu của luồng nguồn cũng như độ phức tạp của truy vấn trong hầu hết các tình huống. Để biết thông tin chi tiết về giới hạn dịch vụ đối với các ứng dụng Apache Flink, hãy truy cập phần Giới hạn trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Có, bằng cách sử dụng Bộ kết nối DataStream của Apache Flink, các ứng dụng thuộc Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể sử dụng Sổ đăng ký lược đồ AWS Glue, một tính năng phi máy chủ của AWS Glue. Bạn có thể tích hợp Apache Kafka, Amazon MSK và Luồng dữ liệu Amazon Kinesis dưới dạng nơi gom dữ liệu hoặc nguồn dữ liệu, với khối lượng công việc Dịch vụ được quản lý của Amazon dành cho Apache Flink. Truy cập Hướng dẫn sử dụng Sổ đăng ký lược đồ của AWS Glue dành cho nhà phát triển để bắt đầu và tìm hiểu thêm.

Một ứng dụng là một thực thể thuộc Dịch vụ được quản lý của Amazon dành cho Apache Flink mà bạn dùng để làm việc. Các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink liên tục đọc và xử lý dữ liệu truyền liên tục theo thời gian thực. Bạn viết mã ứng dụng bằng một ngôn ngữ hỗ trợ Apache Flink để xử lý dữ liệu truyền liên tục đến và tạo dữ liệu đầu ra. Sau đó, Dịch vụ được quản lý của Amazon dành cho Apache Flink sẽ viết dữ liệu đầu ra này vào một đích đến đã được cấu hình.

Mỗi ứng dụng bao gồm ba thành phần chính:

1. Đầu vào: Đầu vào là nguồn truyền liên tục cho ứng dụng của bạn. Trong cấu hình đầu vào, bạn ánh xạ các nguồn truyền liên tục tới các luồng dữ liệu. Dữ liệu được truyền từ nguồn dữ liệu vào luồng dữ liệu. Bạn xử lý dữ liệu từ những luồng dữ liệu này bằng mã ứng dụng, sau đó gửi dữ liệu đã xử lý tới các luồng dữ liệu hoặc đích đến tiếp theo. Bạn thêm các đầu vào vào trong mã ứng dụng dành cho các ứng dụng Apache Flink và sổ tay Studio và thông qua API cho các ứng dụng thuộc Dịch vụ được quản lý của Amazon dành cho Apache Flink. 
2. Mã ứng dụng: Mã ứng dụng là một loạt các toán tử của Apache Flink có chức năng xử lý đầu vào và tạo ra đầu ra. Ở dạng tối giản, mã ứng dụng có thể là một toán tử Apache Flink đơn lẻ, đọc từ luồng dữ liệu có liên kết bằng một nguồn truyền liên tục và ghi vào một luồng dữ liệu khác có liên kết bằng đầu ra. Đối với sổ tay Studio, đây có thể là một truy vấn lựa chọn Flink SQL đơn giản, trong đó kết quả được hiển thị trong ngữ cảnh được giới hạn trong sổ tay. Bạn có thể viết mã Apache Flink bằng các ngôn ngữ được hỗ trợ cho các ứng dụng thuộc Dịch vụ được quản lý của Amazon dành cho Apache Flink hoặc sổ tay Studio.
3. Đầu ra: Sau đó, bạn có thể tùy ý cấu hình cho dữ liệu đầu ra của ứng dụng để lưu trữ lâu dài dữ liệu này tới đích đến bên ngoài. Bạn thêm các đầu ra này vào trong mã ứng dụng dành cho các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink và sổ tay Studio. 

Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ các ứng dụng được xây dựng bằng Java, Scala và Python nhờ các thư viện Apache Flink mã nguồn mở và mã tùy chỉnh của riêng bạn. Dịch vụ được quản lý của Amazon dành cho Apache Flink cũng hỗ trợ các ứng dụng được xây dựng bằng Java nhờ các thư viện Apache Beam mã nguồn mở và mã khách hàng của riêng bạn. Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ mã được xây dựng bằng SQL, Python và Scala tương thích với Apache Flink.

AWS cung cấp nhiều công cụ khác nhau mà bạn có thể sử dụng để giám sát các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink, bao gồm quyền truy cập vào Bảng điều khiển Flink cho các ứng dụng Apache Flink. Bạn có thể cấu hình một số công cụ này để chúng thực hiện công việc giám sát cho bạn. Để biết thêm thông tin về cách giám sát ứng dụng của bạn, hãy khám phá các hướng dẫn dành cho nhà phát triển sau đây: 

• Giám sát Dịch vụ được quản lý của Amazon dành cho Apache Flink trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.
• Giám sát Dịch vụ được quản lý của Amazon dành cho Apache Flink trong Hướng dẫn dành cho nhà phát triển về Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Dịch vụ được quản lý của Amazon dành cho Apache Flink cần được cấp quyền để đọc các bản ghi từ nguồn dữ liệu truyền liên tục mà bạn chỉ định trong ứng dụng của mình. Dịch vụ được quản lý của Amazon dành cho Apache Flink cũng cần được cấp quyền để ghi đầu ra của ứng dụng đó vào các đích đến được chỉ định trong cấu hình đầu ra của ứng dụng. Bạn có thể cấp các quyền này bằng cách tạo ra các vai trò Quản lý danh tính và quyền truy cập trong AWS (IAM) mà Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể đảm nhận. Các quyền mà bạn cấp cho vai trò này sẽ xác định những điều mà Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể thực hiện khi dịch vụ này đảm nhận vai trò đó. Để biết thêm thông tin, hãy tham khảo những hướng dẫn dành cho nhà phát triển sau đây:

• Cấp quyền trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.
• Cấp quyền trong Hướng dẫn dành cho nhà phát triển về Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể điều chỉnh quy mô linh hoạt cho ứng dụng của bạn sao cho phù hợp với thông lượng dữ liệu của luồng nguồn cũng như độ phức tạp của truy vấn trong hầu hết các tình huống. Dịch vụ được quản lý của Amazon dành cho Apache Flink cung cấp dung lượng dưới dạng các KPU Amazon. Một KPU cung cấp cho bạn 1 vCPU và bộ nhớ 4 GB. 

Đối với các ứng dụng Apache Flink và sổ tay Studio, Dịch vụ được quản lý của Amazon dành cho Apache Flink chỉ định 50 GB dung lượng lưu trữ cho ứng dụng đang chạy trên mỗi KPU mà ứng dụng của bạn sử dụng cho các điểm kiểm tra, đồng thời có sẵn để bạn sử dụng thông qua ổ đĩa tạm thời. Điểm kiểm tra là một bản sao lưu được cập nhật của một ứng dụng đang chạy, được dùng để khôi phục ngay lập tức sau khi ứng dụng bị gián đoạn hoạt động. Bạn cũng có thể kiểm soát việc thực thi song song cho các tác vụ ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink (ví dụ như đọc từ một nguồn hoặc thực thi toán tử) bằng cách sử dụng các tham số Parallelism (xử lý song song) và ParallelismPerKPU trong API. Phương pháp xử lý song song xác định số phiên bản của cùng một tác vụ đang diễn ra đồng thời. Tất cả các toán tử, nguồn và nơi gom dữ liệu đều chạy với một tham số xử lý song song được xác định theo mặc định. Theo mặc định, hình thức xử lý song song theo từng KPU xác định số lượng tác vụ song song có thể được lên lịch cho mỗi KPU của ứng dụng là một. Để biết thêm thông tin, hãy xem phần Điều chỉnh quy mô trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink. 

Để biết thông tin về các phương pháp hay nhất cho Apache Flink, hãy xem phần Phương pháp hay nhất trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink. Phần này bao gồm các phương pháp hay nhất về khả năng chịu lỗi, hiệu năng, tạo bản ghi, viết mã và hơn thế nữa. 

Để biết thông tin về các phương pháp hay nhất cho Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink, hãy xem phần Phương pháp hay nhất trong Hướng dẫn dành cho nhà phát triển về Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink. Ngoài các phương pháp hay nhất, phần này bao gồm cả các mẫu dành cho ứng dụng SQL, Python và Scala, các yêu cầu đối với việc triển khai mã dưới dạng ứng dụng xử lý luồng chạy liên tục, hiệu năng, tạo bản ghi và hơn thế nữa.

Có. Bạn có thể truy cập các tài nguyên đằng sau một Amazon VPC. Bạn có thể tìm hiểu cách cấu hình ứng dụng của mình để truy cập vào VPC trong phần Sử dụng Amazon VPC của Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Không. Nếu có nhiều mạng con được chỉ định, tất cả các mạng con đó phải trong cùng một VPC. Bạn có thể kết nối đến các VPC khác bằng cách kết nối ngang hàng các VPC của bạn.

Các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink và sổ tay Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink được cấu hình để truy cập vào tài nguyên trong một VPC cụ thể sẽ không có quyền truy cập vào Internet theo cấu hình mặc định. Bạn có thể tìm hiểu cách cấu hình quyền truy cập Internet cho ứng dụng của mình trong phần Truy cập dịch vụ và Internet của Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Với Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn chỉ phải trả tiền cho những gì bạn sử dụng. Không cần phải cung cấp nguồn lực hay trả trước các chi phí liên quan đến Dịch vụ được quản lý của Amazon dành cho Apache Flink. 

Bạn bị tính phí theo mức phí theo giờ dựa trên số lượng KPU Amazon dùng để chạy ứng dụng truyền liên tục của bạn. Một KPU là một đơn vị công suất xử lý truyền liên tục, bao gồm khả năng điện toán 1 vCPU và bộ nhớ 4 GB. Dịch vụ được quản lý của Amazon dành cho Apache Flink tự động điều chỉnh số KPU cần thiết cho ứng dụng xử lý truyền liên tục của bạn khi nhu cầu của bộ nhớ và điện toán thay đổi theo độ phức tạp khi xử lý và thông lượng dữ liệu truyền liên tục được xử lý. 

Đối với các ứng dụng Apache Flink và Apache Beam, bạn bị tính phí thêm một KPU cho mỗi ứng dụng để điều phối ứng dụng. Các ứng dụng Apache Flink và Apache Beam cũng bị tính phí đối với dung lượng lưu trữ ứng dụng chạy và các bản sao lưu ứng dụng bền vững. Dung lượng lưu trữ của ứng dụng đang chạy được sử dụng cho các tính năng xử lý theo trạng thái trên Dịch vụ được quản lý của Amazon dành cho Apache Flink và bị tính phí mỗi GB-tháng. Bản sao lưu ứng dụng bền vững là một tùy chọn, được tính phí theo GB-tháng và cung cấp điểm khôi phục về thời điểm trước đó cho ứng dụng. 

Đối với Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink, ở chế độ phát triển hoặc tương tác, bạn phải thanh toán thêm cho một KPU để điều phối ứng dụng và 1 KPU để phát triển tương tác. Bạn cũng sẽ phải thanh toán cho dung lượng lưu trữ của ứng dụng đang chạy. Bạn không phải thanh toán cho các bản sao lưu ứng dụng bền vững.

Để biết thêm thông tin về giá, hãy xem trang định giá của Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Đối với các ứng dụng Apache Flink và Apache Beam, bạn phải thanh toán tối thiểu cho 2 KPU và 50 GB dung lượng lưu trữ ứng dụng đang chạy nếu ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink của bạn đang chạy.

Đối với sổ tay Studio của Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn phải thanh toán tối thiểu 3 KPU và 50 GB dung lượng lưu trữ ứng dụng đang chạy nếu ứng dụng của bạn đang hoạt động.

Dịch vụ được quản lý của Amazon dành cho Apache Flink là giải pháp xử lý luồng được quản lý toàn diện, độc lập với nguồn truyền liên tục mà dịch vụ này đọc dữ liệu và các đích đến mà dịch vụ này ghi dữ liệu đã xử lý. Các dịch vụ mà bạn dùng để đọc dữ liệu và ghi dữ liệu vào ứng dụng của mình sẽ được lập hóa đơn riêng biệt.

Không. Dịch vụ được quản lý của Amazon dành cho Apache Flink hiện không có sẵn trong Bậc miễn phí của AWS.

Apache Flink là một khung và công cụ nguồn mở có chức năng xử lý dữ liệu hàng loạt hoặc theo luồng. Apache Flink giúp cho việc xây dựng các ứng dụng truyền liên tục trở nên dễ dàng do khả năng cung cấp các toán tử mạnh mẽ và giải quyết các vấn đề cốt lõi về truyền liên tục như xử lý trùng lặp. Apache Flink cung cấp các tính năng phân phối dữ liệu, giao tiếp và khả năng chịu lỗi dành cho việc tính toán phân phối trên các luồng dữ liệu.

Bạn có thể bắt đầu bằng cách tải xuống các thư viện nguồn mở bao gồm AWS SDK, Apache Flink và bộ kết nối cho dịch vụ AWS. Xem hướng dẫn về cách tải về các thư viện và tạo ra ứng dụng đầu tiên trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Bạn viết mã Apache Flink bằng cách sử dụng luồng dữ liệu và toán tử luồng. Luồng dữ liệu ứng dụng là cấu trúc dữ liệu bạn thực hiện xử lý bằng cách sử dụng mã của bạn. Dữ liệu liên tục truyền từ nguồn vào luồng dữ liệu ứng dụng. Một hoặc nhiều toán tử luồng được sử dụng để xác định quá trình xử lý của bạn trên các luồng dữ liệu ứng dụng, bao gồm chuyển đổi, phân vùng, tổng hợp, kết hợp và cửa sổ. Các luồng dữ liệu và toán tử có thể được kết nối với nhau trong chuỗi nối tiếp và chuỗi song song. Sau đây là một ví dụ ngắn về việc sử dụng mã giả.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Các toán tử nhận luồng dữ liệu của ứng dụng làm đầu vào và gửi các dữ liệu đã qua xử lý tới một luồng dữ liệu ứng dụng dưới dạng đầu ra. Các toán tử có thể được kết nối để xây dựng các ứng dụng với nhiều bước và không đòi hỏi kiến thức chuyên sâu về hệ thống phân tán để triển khai và vận hành.

Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ tất cả các toán tử từ Apache Flink có thể được sử dụng để giải quyết nhiều trường hợp sử dụng, bao gồm ánh xạ, KeyBy, tổng hợp, cửa sổ, kết hợp và hơn thế nữa. Ví dụ: toán tử ánh xạ cho phép bạn thực hiện xử lý tùy ý, lấy một phần tử từ luồng dữ liệu đến và tạo ra một phần tử khác. KeyBy tổ chức dữ liệu theo logic bằng cách sử dụng một khóa được chỉ định để bạn có thể xử lý các điểm dữ liệu tương tự với nhau. Việc xử lý tổng hợp thực hiện xử lý trên nhiều khóa khác nhau như sum, min và max. Window Join sẽ kết hợp hai luồng dữ liệu lại với nhau trên một khóa và một cửa sổ cho trước. 

Bạn có thể xây dựng toán tử tùy chỉnh nếu những toán tử này không đáp ứng được nhu cầu của bạn. Bạn có thể xem thêm ví dụ trong phần Toán tử của Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink. Bạn có thể tìm thấy danh sách đầy đủ các toán tử Apache Flink trong tài liệu Apache Flink. 

Bạn có thể thiết lập các tích hợp được dựng sẵn mà Apache Flink cung cấp bằng mã tối thiểu, hoặc xây dựng tích hợp của riêng mình để kết nối với hầu hết các nguồn dữ liệu. Các thư viện mã nguồn mở dựa trên Apache Flink có thể hỗ trợ các nguồn truyền phát liên tục và đích, hoặc nơi gom dữ liệu, để xử lý việc truyền dữ liệu. Trong đó cũng bao gồm hỗ trợ làm phong phú dữ liệu thông qua các bộ kết nối I/O không đồng bộ. Một số bộ kết nối trong đó gồm:

• Nguồn dữ liệu truyền liên tục: Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK), Đích đến Luồng dữ liệu Amazon Kinesis hoặc nơi gom dữ liệu: Luồng dữ liệu Amazon Kinesis
• Firehose dữ liệu Amazon Kinesis, Amazon DynamoDB, Dịch vụ Elasticsearch của Amazon và Amazon S3 (thông qua tích hợp nơi gom tệp)

Có. Bạn có thể sử dụng các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink để sao chép dữ liệu giữa Luồng dữ liệu Amazon Kinesis, Amazon MSK và các hệ thống khác. Một ví dụ được cung cấp trong tài liệu của chúng tôi cho thấy cách đọc từ một chủ đề Amazon MSK và viết vào một chủ đề khác.

Bạn có thể thêm nguồn hoặc đích vào ứng dụng của mình bằng cách xây dựng dựa trên một tập hợp các công cụ nguyên sơ cho phép bạn đọc và ghi từ các tệp, thư mục, socket hoặc bất cứ thứ gì mà bạn có thể truy cập qua internet. Apache Flink cung cấp các công cụ nguyên sơ này cho các nguồn dữ liệu và nơi gom dữ liệu. Các công cụ nguyên sơ đi kèm với các cấu hình như khả năng đọc và ghi dữ liệu liên tục hoặc một lần, không đồng bộ hoặc đồng bộ, v.v. Ví dụ: bạn có thể thiết lập một ứng dụng để đọc liên tục từ Amazon S3 bằng cách mở rộng tích hợp nguồn dựa trên tệp hiện có.

Các ứng dụng Apache Flink trong Dịch vụ được quản lý của Amazon dành cho Apache Flink sử dụng một mô hình phân phối chính xác một lần nếu có một ứng dụng được xây dựng bằng các toán tử lũy đẳng, bao gồm các nguồn và nơi gom dữ liệu. Điều này có nghĩa là dữ liệu được xử lý tác động đến kết quả hạ lưu một lần và chỉ một lần.

Theo mặc định, các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink sử dụng ngữ nghĩa chính xác một lần của Apache Flink. Ứng dụng của bạn hỗ trợ ngữ nghĩa xử lý chính xác một lần nếu bạn thiết kế các ứng dụng của mình bằng các nguồn, toán tử và nơi gom dữ liệu sử dụng ngữ nghĩa chính xác một lần của Apache Flink.

Có. Các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink cung cấp cho ứng dụng của bạn 50 GB dung lượng lưu trữ ứng dụng đang chạy trên mỗi KPU. Dịch vụ được quản lý của Amazon dành cho Apache Flink điều chỉnh quy mô của dung lượng lưu trữ phù hợp với ứng dụng của bạn. Dung lượng lưu trữ của ứng dụng đang chạy được dùng để lưu trạng thái của ứng dụng bằng các điểm kiểm tra. Bạn cũng có thể truy cập vào mã ứng dụng để sử dụng làm ổ đĩa tạm thời cho mục đích lưu dữ liệu vào bộ nhớ đệm hoặc bất kỳ mục đích nào khác. Dịch vụ được quản lý của Amazon dành cho Apache Flink có thể xóa dữ liệu chưa được lưu qua các điểm kiểm tra (như toán tử, nguồn, nơi gom dữ liệu) vào bất kỳ lúc nào khỏi dung lượng lưu trữ của ứng dụng đang chạy. Tất cả các dữ liệu được lưu trữ trong dung lượng lưu trữ của ứng dụng đang chạy sẽ được mã hóa ở trạng thái nghỉ.

Dịch vụ được quản lý của Amazon dành cho Apache Flink tự động sao lưu trạng thái của ứng dụng đang chạy bằng cách sử dụng các điểm kiểm tra và ảnh chụp nhanh. Các điểm kiểm tra sẽ lưu trạng thái hiện tại của ứng dụng và cho phép các ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink khôi phục vị trí của ứng dụng nhằm cung cấp ngữ nghĩa giống như khi thực thi không có lỗi. Các điểm kiểm tra sử dụng dung lượng lưu trữ của ứng dụng đang chạy. Các điểm kiểm tra dành cho ứng của Apache Flink được cung cấp thông qua chức năng điểm kiểm tra của Apache Flink. Ảnh chụp nhanh sẽ lưu điểm khôi phục theo điểm thời gian cho các ứng dụng và sử dụng các bản sao lưu ứng dụng bền vững. Ảnh chụp nhanh cũng tương tự như các điểm lưu của Flink.

Với ảnh chụp nhanh, bạn có thể tạo và khôi phục ứng dụng của mình về một thời điểm trong quá khứ. Nhờ đó, bạn có thể duy trì trạng thái trước đó của ứng dụng và khôi phục ứng dụng vào bất kỳ lúc nào. Bạn kiểm soát số lượng ảnh chụp nhanh bạn có tại bất kỳ thời điểm nào, từ 0 đến hàng nghìn ảnh chụp nhanh. Ảnh chụp nhanh sử dụng các bản sao lưu ứng dụng bền vững và Dịch vụ được quản lý của Amazon dành cho Apache Flink sẽ tính phí dựa trên kích thước của chúng. Theo mặc định, Dịch vụ được quản lý của Amazon dành cho Apache Flink mã hóa dữ liệu được lưu trong ảnh chụp nhanh. Bạn có thể xóa từng ảnh chụp nhanh thông qua API hoặc tất cả ảnh chụp nhanh bằng cách xóa ứng dụng của bạn.

Để tìm hiểu thêm về các phiên bản Apache Flink được hỗ trợ, hãy truy cập trang Thông báo phát hành của Dịch vụ được quản lý của Amazon dành cho Apache Flink. Trang này cũng bao gồm các phiên bản Apache Beam, Java, Scala, Python và AWS SDK mà Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ. 

Có, Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ các ứng dụng truyền liên tục được xây dựng bằng Apache Beam. Bạn có thể xây dựng các ứng dụng truyền liên tục Apache Beam bằng Java và chạy chúng trong các công cụ và dịch vụ khác nhau, bao gồm sử dụng Apache Flink trên Dịch vụ được quản lý của Amazon dành cho Apache Flink. Bạn có thể tìm thấy thông tin liên quan đến các phiên bản Apache Flink và Apache Beam được hỗ trợ trong Hướng dẫn dành cho nhà phát triển về Dịch vụ được quản lý của Amazon dành cho Apache Flink. 

Bạn có thể bắt đầu từ Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink, Luồng dữ liệu Amazon Kinesis hoặc bảng điều khiển Amazon MSK chỉ bằng một vài bước để khởi chạy sổ tay phi máy chủ nhằm truy vấn luồng dữ liệu và thực hiện phân tích dữ liệu tương tác ngay lập tức.

Phân tích dữ liệu tương tác: Bạn có thể viết mã vào sổ tay bằng SQL, Python hoặc Scala để tương tác với dữ liệu truyền liên tục của mình, trong đó thời gian phản hồi truy vấn chỉ mất vài giây. Bạn có thể sử dụng các hình ảnh trực quan hóa sẵn có để khám phá dữ liệu, xem thông tin chuyên sâu theo thời gian thực về dữ liệu truyền liên tục của mình từ trong sổ tay, đồng thời phát triển các ứng dụng xử lý luồng được Apache Flink hỗ trợ.

Khi mã của bạn đã sẵn sàng để chạy như một ứng dụng sản xuất, bạn có thể chuyển đổi thành ứng dụng xử lý có khả năng xử lý hàng gigabyte dữ liệu mỗi giây chỉ với một bước duy nhất và không cần đến máy chủ.

Ứng dụng xử lý luồng: Khi bạn đã sẵn sàng đưa mã của mình vào sản xuất, bạn có thể xây dựng mã của mình bằng cách nhấp vào “Triển khai dưới dạng ứng dụng xử lý luồng” trong giao diện sổ tay hoặc đưa ra một lệnh duy nhất trong CLI. Studio đảm nhiệm tất cả việc quản lý cơ sở hạ tầng cần thiết để bạn chạy ứng dụng xử lý luồng trên quy mô lớn, với tính năng tự động điều chỉnh quy mô và trạng thái bền vững được bật, giống như trong ứng dụng của Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Bạn có thể viết mã trong sổ tay bằng ngôn ngữ tùy chọn như SQL, Python hoặc Scala bằng cách sử dụng API bảng của Apache Flink. API bảng là một API quan hệ và trừu tượng tổng quan, hỗ trợ một tập hợp các tính năng của SQL. API này cung cấp các thao tác quen thuộc, chẳng hạn như chọn, lọc, kết hợp, nhóm theo, tổng hợp, v.v. cùng với các khái niệm dành riêng cho luồng, chẳng hạn như tạo cửa sổ. Bạn sử dụng % để chỉ định ngôn ngữ sẽ được sử dụng trong một phần của sổ tay và có thể chuyển đổi giữa các ngôn ngữ. Trình thông dịch là các plugin của Apache Zeppelin, vì vậy bạn có thể chỉ định một ngôn ngữ hoặc công cụ xử lý dữ liệu cho từng phần trong sổ tay. Bạn cũng có thể xây dựng các hàm do người dùng xác định và tham chiếu chúng để cải thiện chức năng của mã.

Bạn có thể thực hiện các thao tác SQL như sau:

• Quét và lọc (SELECT, WHERE) 
• Tổng hợp (GROUP BY, GROUP BY WINDOW, HAVING) 
• Tập hợp (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Xếp thứ tự (ORDER BY, LIMIT) 
• Kết hợp (INNER, OUTER, Khoảng thời gian — BETWEEN, AND, Kết hợp với các bảng tạm thời — các bảng theo dõi các thay đổi theo thời gian)
• Top-N
• Chống trùng lặp
• Nhận dạng mẫu

Một số truy vấn trong số này, chẳng hạn như GROUP BY, OUTER JOIN và Top-N là kết quả cập nhật cho dữ liệu truyền liên tục, có nghĩa là kết quả được liên tục cập nhật khi dữ liệu truyền liên tục được xử lý. Các câu lệnh DDL khác, chẳng hạn như CREATE, ALTER và DROP, cũng được hỗ trợ. Để xem danh sách đầy đủ các truy vấn và mẫu, hãy tham khảo tài liệu Truy vấn Apache Flink.

API bảng của Apache Flink hỗ trợ Python và Scala thông qua tích hợp ngôn ngữ nhờ chuỗi Python và biểu thức Scala. Các thao tác được hỗ trợ cũng rất giống với các thao tác SQL được hỗ trợ, bao gồm chọn, xếp thứ tự, nhóm, kết hợp, lọc và tạo cửa sổ. Trong hướng dẫn dành cho nhà phát triển của chúng tôi có bao gồm danh sách đầy đủ các thao tác và mẫu.

Để tìm hiểu thêm về các phiên bản Apache Flink được hỗ trợ, hãy truy cập trang Thông báo phát hành của Dịch vụ được quản lý của Amazon dành cho Apache Flink. Trang này cũng bao gồm các phiên bản Apache Zeppelin, Apache Beam, Java, Scala, Python và AWS SDK mà Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ.

• Nguồn dữ liệu: Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK), Luồng dữ liệu Amazon Kinesis, Amazon S3 
• Đích đến hoặc nơi gom dữ liệu: Amazon MSK, Luồng dữ liệu Amazon Kinesis và Amazon S3

Bạn có thể thiết lập cấu hình tích hợp bổ sung chỉ với một vài bước và dòng mã Apache Flink (Python, Scala hoặc Java) để xác định kết nối với tất cả các tích hợp hỗ trợ Apache Flink. Trong đó bao gồm các đích đến như Dịch vụ OpenSearch của Amazon, Amazon ElastiCache dành cho Redis, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces, v.v. Bạn có thể đính kèm tệp thực thi cho các bộ kết nối tùy chỉnh này khi tạo hoặc thiết lập cấu hình của ứng dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Thỏa thuận mức dịch vụ (SLA) của chúng tôi đảm bảo Tỷ lệ thời gian hoạt động hàng tháng tối thiểu đạt 99,9% đối với Dịch vụ được quản lý của Amazon dành cho Apache Flink.

Bạn đủ điều kiện nhận Tín dụng dịch vụ SLA cho Dịch vụ được quản lý của Amazon dành cho Apache Flink theo SLA của Dịch vụ được quản lý của Amazon dành cho Apache Flink nếu bạn chạy một tác vụ ở nhiều Vùng sẵn sàng, trong cùng một Khu vực AWS, có Tỷ lệ phần trăm thời gian hoạt động hàng tháng dưới 99,9% trong bất kỳ chu kỳ tính phí hàng tháng nào. Để biết đầy đủ chi tiết về tất cả các điều khoản và điều kiện của SLA cũng như chi tiết về cách gửi yêu cầu, hãy truy cập trang chi tiết về SLA của Dịch vụ được quản lý của Amazon dành cho Apache Flink.