AWS Lambda công bố hỗ trợ mặc định cho các sự kiện Kafka có định dạng Avro và Protobuf
AWS Lambda hiện cung cấp hỗ trợ mặc định cho các sự kiện Kafka có định dạng Avro và Protobuf với tính năng ánh xạ nguồn sự kiện (ESM) của Apache Kafka và tích hợp với sổ đăng ký Lược đồ AWS Glue (GSR), sổ đăng ký Lược đồ Confluent Cloud (CCSR) và sổ đăng ký Lược đồ Confluent tự quản lý (SCSR) để quản lý lược đồ. Nhờ đó, bạn có thể xác thực lược đồ, lọc sự kiện và xử lý sự kiện bằng cách sử dụng các giao diện đối tượng dùng Kafka nguồn mở. Ngoài ra, khách hàng có thể sử dụng Powertools cho AWS Lambda để xử lý các sự kiện Kafka mà không cần viết mã giải tuần tự hóa tùy chỉnh, giúp dễ dàng xây dựng ứng dụng Kafka với AWS Lambda.
Khách hàng của Kafka sử dụng các định dạng Avro và Protobuf để làm kho lưu trữ dữ liệu hiệu quả, tuần tự hóa và giải tuần tự hóa nhanh chóng, hỗ trợ phát triển lược đồ cũng như đảm bảo khả năng tương tác giữa các ngôn ngữ lập trình khác nhau. Khách hàng sử dụng sổ đăng ký lược đồ để quản lý, phát triển và xác thực lược đồ trước khi đưa dữ liệu vào quy trình xử lý. Trước đây khi sử dụng các định dạng dữ liệu này, khách hàng phải viết mã tùy chỉnh trong hàm Lambda để xác thực, giải tuần tự hóa và lọc sự kiện. Với lần ra mắt hôm nay, Lambda hỗ trợ nguyên bản Avro và Protobuf cũng như tích hợp với GSR, CCSR và SCSR, cho phép khách hàng sử dụng các định dạng dữ liệu này để xử lý sự kiện Kafka mà không cần viết mã tùy chỉnh. Ngoài ra, khách hàng có thể tối ưu hóa chi phí bằng cách lọc sự kiện để ngăn chặn lệnh gọi hàm không cần thiết.
Tính năng này được cung cấp rộng rãi ở tất cả các Khu vực AWS thương mại có Kafka ESM của AWS Lambda, ngoại trừ Israel (Tel Aviv), Châu Á Thái Bình Dương (Malaysia) và Miền Tây Canada (Calgary).
Để bắt đầu, hãy cung cấp cấu hình sổ đăng ký lược đồ cho Kafka ESM mới hoặc hiện có trong API ESM, Bảng điều khiển AWS, CLI AWS, SDK AWS, AWS CloudFormation và AWS SAM. Bạn có thể tùy ý thiết lập quy tắc bộ lọc để loại bỏ các sự kiện có định dạng Avro hoặc Protobuf không liên quan trước khi gọi hàm. Để xây dựng hàm với giao diện ConsumerRecords nguồn mở của Kafka, hãy thêm Powertools dành cho AWS Lambda làm thành phần phụ thuộc trong hàm Lambda. Để tìm hiểu thêm, hãy đọc tài liệu về ESM của Lambda và định giá AWS Lambda.