Các tính năng của Dịch vụ được quản lý của Amazon dành cho Apache Flink
Tại sao nên chọn Dịch vụ được quản lý dành cho Apache Flink?
Dịch vụ được quản lý của Amazon dành cho Apache Flink giúp xây dựng và chạy các ứng dụng xử lý luồng theo thời gian thực dễ dàng hơn bằng Apache Flink. Dịch vụ được quản lý của Amazon dành cho Apache Flink cung cấp và cấu hình các cụm Flink của bạn, đồng thời điều phối hoạt động quản lý tác vụ Flink. Dịch vụ này thiết lập giám sát và cảnh báo, cung cấp khả năng tự động điều chỉnh quy mô và được xây dựng kiến trúc để mang lại độ sẵn sàng cao (bao gồm chuyển đổi dự phòng Vùng sẵn sàng). Dịch vụ này cung cấp quyền truy cập vào các API biểu đạt của Apache Flink và thông qua Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có thể truy vấn các luồng dữ liệu bằng hình thức tương tác hoặc khởi chạy các ứng dụng có trạng thái chỉ trong vài bước. Với dịch vụ được quản lý này, bạn có thể bắt đầu sử dụng Apache Flink và nhanh chóng triển khai cũng như vận hành các ứng dụng xử lý luồng dữ liệu của mình.
Với Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có quyền truy cập vào toàn bộ các tính năng hàng đầu trong ngành của Apache Flink, bao gồm xử lý dữ liệu có độ trễ thấp và thông lượng cao, xử lý chính xác một lần và trạng thái ứng dụng bền vững. Với Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có thể triển khai các ứng dụng bảo mật, tuân thủ và có độ sẵn sàng cao. Dịch vụ được quản lý của Amazon dành cho Apache Flink dễ dàng sao chép dữ liệu và khối lượng công việc trên nhiều Vùng sẵn sàng, đảm bảo hiệu năng không bị gián đoạn và độ tin cậy mà không phải trả thêm phí cho dung lượng.
Phát triển ứng dụng dễ dàng hơn với Dịch vụ được quản lý của Amazon dành cho Apache Flink vì dịch vụ này hỗ trợ các API linh hoạt của Flink trong Java, Scala, Python và SQL. Dịch vụ được quản lý của Amazon dành cho Apache Flink tích hợp với hàng trăm nguồn dữ liệu và đích đến, chẳng hạn như Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK), Luồng dữ liệu Amazon Kinesis, Firehose dữ liệu Amazon Kinesis, Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), Amazon DynamoDB, bộ kết nối JDBC và các bộ kết nối tùy chỉnh.
Các ứng dụng xử lý luồng bằng Apache Flink
Mở tất cảAmazon Managed Service for Apache Flink bao gồm các thư viện nguồn mở như Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK và tích hợp dịch vụ AWS. Apache Flink là một khung và công cụ để xây dựng các ứng dụng truyền liên tục có độ sẵn sàng và chính xác cao. Apache Beam là một mô hình hợp nhất để xác định các ứng dụng xử lý dữ liệu hàng loạt và truyền liên tục chạy trên nhiều công cụ đảm bảo thời gian hoạt động. SDK AWS giúp loại bỏ sự phức tạp khi viết mã cho nhiều dịch vụ AWS bằng cách cung cấp các API bằng ngôn ngữ ưa thích của bạn và chúng bao gồm các thư viện AWS, mã mẫu và tài liệu.
Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ các API linh hoạt của Flink trong Java, Scala, Python và SQL chuyên dụng cho các trường hợp sử dụng khác nhau bao gồm xử lý sự kiện theo trạng thái, ETL (trích xuất, chuyển đổi và tải) truyền liên tục và phân tích theo thời gian thực. Với các toán tử và tính năng phân tích được dựng sẵn, bạn có thể xây dựng ứng dụng truyền liên tục Apache Flink chỉ trong vài giờ thay vì vài tháng, đồng thời nhờ các thư viện có thể mở rộng, bạn có thể thực hiện xử lý theo thời gian thực cho các trường hợp sử dụng đa dạng.
Bạn có thể thiết lập và tích hợp nguồn dữ liệu hoặc đích đến với lượng mã tối thiểu. Sử dụng các thư viện Dịch vụ được quản lý của Amazon dành cho Apache Flink để tích hợp với những dịch vụ AWS sau:
Ngoài tích hợp AWS, các thư viện Dịch vụ được quản lý của Amazon dành cho Apache Flink bao gồm hơn 40 bộ kết nối Apache Flink và khả năng xây dựng các tích hợp tùy chỉnh. Với một vài dòng mã, bạn có thể sửa đổi cách mỗi tích hợp hoạt động với chức năng nâng cao. Bạn cũng có thể xây dựng các tích hợp tùy chỉnh bằng cách sử dụng một tập hợp các loại Apache Flink nguyên thủy để bạn có thể đọc và ghi từ các tệp, thư mục, socket hoặc các nguồn khác được truy cập qua Internet.
Khi sử dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có thể xây dựng các ứng dụng mà trong đó bản ghi đã xử lý chỉ tác động đến kết quả đúng một lần, được gọi là xử lý chính xác một lần. Ngay cả trong trường hợp ứng dụng bị gián đoạn, chẳng hạn như bảo trì dịch vụ nội bộ hoặc cập nhật ứng dụng do người dùng khởi tạo, dịch vụ sẽ đảm bảo tất cả dữ liệu được xử lý và không có dữ liệu trùng lặp.
Dịch vụ sẽ lưu trữ các tính toán hoặc trạng thái trước đó và đang tiến hành trong kho lưu trữ ứng dụng đang chạy. So sánh kết quả theo thời gian thực và kết quả trong quá khứ ở bất kỳ khoảng thời gian nào và đạt được khả năng khôi phục nhanh chóng trong thời gian ứng dụng bị gián đoạn. Trạng thái luôn được mã hóa và lưu tăng dần trong kho lưu trữ ứng dụng đang chạy.
Tạo và xóa các bản sao lưu ứng dụng bền vững thông qua một lệnh gọi API đơn giản. Ngay lập tức khôi phục ứng dụng của bạn từ bản sao lưu mới nhất sau khi bị gián đoạn hoặc khôi phục ứng dụng của bạn về một phiên bản trước đó.
Dịch vụ được quản lý của Amazon dành cho Apache Flink hỗ trợ các thuật toán máy học (ML). Bạn có thể tạo các ứng dụng theo thời gian thực để phân loại, phân cụm, đánh giá, đề xuất kỹ thuật lấy dữ liệu đặc trưng, hồi quy và thống kê.
Dịch vụ được quản lý của Amazon dành cho Apache Flink tương thích với Sổ đăng ký lược đồ AWS Glue. Sổ đăng ký lược đồ giúp bạn cải thiện chất lượng dữ liệu và bảo vệ dữ liệu trước những thay đổi không mong muốn bằng cách sử dụng các kiểm tra khả năng tương thích hỗ trợ quản lý sự phát triển của lược đồ đối với các lược đồ trên khối lượng công việc Dịch vụ được quản lý của Amazon dành cho Apache Flink được kết nối với Apache Kafka, Amazon MSK hoặc Luồng dữ liệu Amazon Kinesis, dưới dạng bộ kết nối nguồn hoặc nơi gom tệp.