Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Dịch vụ Apache Kafka bảo mật, có độ sẵn sàng cao và được quản lý toàn phần

Amazon MSK là một dịch vụ được quản lý toàn phần giúp bạn dễ dàng xây dựng và chạy các ứng dụng dùng Apache Kafka để xử lý dữ liệu truyền. Apache Kafka là một nền tảng mã nguồn mở để xây dựng các ứng dụng và đường ống dữ liệu truyền trong thời gian thực. Với Amazon MSK, bạn có thể sử dụng API Apache Kafka gốc để nạp hồ dữ liệu, thay đổi về dữ liệu truyền vào và từ cơ sở dữ liệu, cũng như cung cấp các ứng dụng máy học và phân tích.

Các cụm Apache Kafka rất khó thiết lập, mở rộng và quản lý ở khâu sản xuất. Khi tự chạy Apache Kafka, bạn cần cung cấp máy chủ, định cấu hình Apache Kafka theo cách thủ công, thay thế máy chủ khi bị lỗi, bố trí các bản vá và nâng cấp máy chủ, thiết kế cụm để có độ sẵn sàng cao, đảm bảo dữ liệu được lưu trữ và bảo mật chắc chắn, thiết lập hệ thống giám sát và cảnh báo, đồng thời cẩn trọng khi lên kế hoạch cho các sự kiện mở rộng để hỗ trợ thay đổi về khối lượng. Amazon MSK giúp bạn dễ dàng xây dựng và chạy ứng dụng sản xuất trên Apache Kafka mà không cần có chuyên môn về quản lý cơ sở hạ tầng Apache Kafka. Điều đó có nghĩa là bạn sẽ bớt được thời gian quản lý cơ sở hạ tầng và thêm thời gian tạo ứng dụng.

Với một vài cú nhấp trong bảng điều khiển Amazon MSK, bạn có thể tạo các cụm Apache Kafka có độ sẵn sàng cao, cùng với cài đặt và cấu hình dựa trên các cách triển khai tốt nhất của Apache Kafka. Amazon MSK tự động cung cấp và chạy các cụm Apache Kafka. Amazon MSK liên tục theo dõi tình trạng của cụm và tự động thay thế các nút có tình trạng xấu mà không khiến ứng dụng phải ngừng hoạt động. Ngoài ra, Amazon MSK còn bảo mật cụm Apache Kafka bằng cách mã hóa dữ liệu ở trạng thái lưu trữ.

Lợi ích

Hoàn toàn tương thích

Amazon MSK chạy và quản lý Apache Kafka cho bạn. Điều này giúp bạn dễ dàng di chuyển và chạy các ứng dụng Apache Kafka hiện có trên AWS mà không thay đổi mã ứng dụng. Bằng cách sử dụng Amazon MSK, bạn giữ nguyên tính tương thích của mã nguồn mở, cũng như tiếp tục sử dụng các công cụ tùy chỉnh quen thuộc và do cộng đồng xây dựng, như MirrorMaker, Apache FlinkPrometheus.

Được quản lý toàn phần

Amazon MSK cho phép bạn tập trung tạo ứng dụng truyền mà không phải lo về chi phí vận hành khi quản lý môi trường Apache Kafka. Amazon MSK quản lý việc cung cấp, cấu hình và duy trì các cụm Apache Kafka và các nút Apache ZooKeeper cho bạn. Amazon MSK cũng hiển thị các số liệu về hiệu năng chính của Apache Kafka trong bảng điều khiển AWS.

Linh hoạt khi xử lý dữ liệu truyền

Apache Flink là một khung xử lý dữ liệu truyền theo mã nguồn mở, mạnh mẽ dành cho công việc tính toán có ràng buộc dữ liệu truyền. Bạn có thể chạy ứng dụng Apache Flink được quản lý toàn phần, viết bằng ngôn ngữ SQL, Java hoặc Scala có thể mở rộng linh hoạt để xử lý luồng dữ liệu trong Amazon MSK.

Độ sẵn sàng cao

Amazon MSK tạo ra cụm Apache Kafka và cung cấp bản sao Nhiều vùng sẵn sàng trong một Khu vực AWS. Amazon MSK liên tục giám sát tình trạng của cụm và nếu một thành phần nào đó không hoạt động, Amazon MSK sẽ tự động thay thế thành phần đó.

Bảo mật cao

Amazon MSK cung cấp nhiều cấp độ bảo mật cho các cụm Apache Kafka, bao gồm cách ly mạng VPC, AWS IAM cho ủy quyền API cơ chế điều khiển, mã hóa ở trạng thái lưu trữ, mã hóa TLS trong quá trình truyền, xác thực chứng chỉ dựa trên TLS, xác thực SASL/SCRAM được bảo mật bởi AWS Secrets Manager và hỗ trợ Danh sách kiểm soát truy cập (ACL) của Apache Kafka cho ủy quyền cơ chế điều khiển.

Nghiên cứu điển hình của khách hàng

Nutmeg
Poshmark
Vonage
Secureworks
Compass
ZipRecruiter
Xem nghiên cứu điển hình của khách hàng »

Cách thức hoạt động

Apache Kafka là một dịch vụ lưu trữ dữ liệu truyền, chuyên khử liên kết các ứng dụng tạo dữ liệu truyền (ứng dụng sản xuất) vào kho dữ liệu từ các ứng dụng tiêu thụ dữ liệu truyền (ứng dụng tiêu thụ) từ kho dữ liệu. Các tổ chức sử dụng Apache Kafka làm nguồn dữ liệu cho các ứng dụng liên tục phân tích và phản hồi với dữ liệu truyền.

Với một vài cú nhấp trong Bảng điều khiển Amazon MSK, Amazon MSK sẽ cung cấp cụm Apache Kafka và với dịch vụ hỗ trợ nâng cấp phiên bản, bạn luôn có thể sử dụng phiên bản Apache Kafka mới nhất mà Amazon MSK hỗ trợ. Sau khi bạn cấu hình các cụm, ứng dụng của bạn có thể truyền dữ liệu từ ứng dụng sản xuất đến một chủ đề. Tại đây, ứng dụng tiêu thụ sẽ đọc dữ liệu trong thời gian thực.

Sơ đồ cách thức hoạt động của Amazon MSK

Tải xuống trang chiếu trong hội thảo trực tuyến để tìm hiểu thêm về Amazon MSK. 

Bắt đầu với Amazon MSK

Thiết lập cụm Amazon MSK
Thiết lập cụm Amazon MSK

Đăng ký AWS và tải xuống thư viện và công cụ.

Tham khảo hướng dẫn bắt đầu sử dụng
Tham khảo hướng dẫn bắt đầu sử dụng

Tìm hiểu cách thiết lập cụm máy chủ Apache Kafka của bạn trên Amazon MSK trong hướng dẫn từng bước này.

Chạy cụm máy chủ Apache Kafka của bạn
Chạy cụm máy chủ Apache Kafka của bạn

Bắt đầu chạy cụm máy chủ Apache Kafka của bạn trên Amazon MSK. Đăng nhập vào bảng điều khiển Amazon MSK.