AWS Lambda hiện hỗ trợ hàng chờ cho Apache Kafka trong các nguồn sự kiện Kafka tự quản lý
AWS Lambda hiện hỗ trợ hàng chờ cho Apache Kafka trong ánh xạ nguồn sự kiện (ESM) Kafka tự quản lý cho các cụm Kafka mà khách hàng tự chạy và cho các dịch vụ được quản lý như Confluent Cloud. Giờ đây, khách hàng có thể điều chỉnh quy mô xử lý cho khối lượng công việc Kafka vượt quá số phân vùng của một chủ đề, tăng thông lượng trong thời gian lưu lượng truy cập tăng đột biến và cải thiện khả năng phục hồi xử lý.
Khách hàng xây dựng khối lượng công việc Kafka theo sự kiện cho các trường hợp sử dụng như mã hóa hình ảnh và video, phát hiện gian lận, gửi thông báo và tải nhập đo lường từ xa coi mỗi sự kiện như một đơn vị công việc độc lập, trong đó tốc độ xử lý quan trọng hơn thứ tự nghiêm ngặt. Trước đây, Kafka ESM sử dụng giao thức nhóm đối tượng tiêu thụ Kafka, gán mỗi phân vùng cho chính xác một đối tượng tiêu thụ trong một nhóm đối tượng tiêu thụ. Khách hàng cần tính song song cao hơn phải tạo quá nhiều phân vùng cho các chủ đề hoặc chuyển lưu lượng truy cập sang một hệ thống hàng chờ riêng biệt, thêm cơ sở hạ tầng để vận hành và mã đối tượng tạo để duy trì. Hỗ trợ hàng chờ cho các ESM Kafka tự quản lý được xây dựng trên các nhóm dùng chung Kafka, vốn được cung cấp rộng rãi trong Apache Kafka 4.2. Lần ra mắt này cho phép nhiều trình thăm dò sự kiện tiêu thụ đồng thời từ cùng một phân vùng, với mỗi trình thăm dò sự kiện hỗ trợ tối đa 10 lượt gọi đồng thời. Điều này tách tính song song khỏi số phân vùng mà không có thay đổi đối với đối tượng tạo, cấu hình chủ đề hoặc mã hàm. Do đó, khách hàng nhận được thông lượng cao hơn trong quá trình lưu lượng truy cập tăng đột biến và khả năng phục hồi xử lý tốt hơn, bởi vì một sự kiện chậm hoặc bị lỗi không còn gây chậm cho các sự kiện khác trong cùng một phân vùng. Chế độ hàng chờ không bảo tồn thứ tự sự kiện trong từng phân vùng và dành cho khối lượng công việc không yêu cầu thứ tự đó.
Khả năng này yêu cầu phải bật cụm Kafka với các nhóm dùng chung, chẳng hạn như Apache Kafka 4.2 trở lên và khả dụng ở tất cả các Khu vực AWS thương mại nơi có sẵn ESM Kafka tự quản lý. Để bắt đầu, hãy tạo ESM Kafka tự quản lý với ConsumptionMode được đặt thành Queue thông qua Bảng điều khiển quản lý AWS, API Lambda, AWS CLI, AWS CloudFormation, AWS SAM hoặc AWS CDK. Áp dụng giá tiêu chuẩn của Lambda. Khách hàng cấu hình chế độ cung cấp cho ESM Kafka tự quản lý của họ cũng trả tiền cho việc sử dụng Đơn vị trình thăm dò sự kiện (EPU). Để tìm hiểu thêm, hãy xem Hướng dẫn dành cho nhà phát triển về AWS Lambda và định giá AWS Lambda.