AWS Lambda 宣佈對 Avro 和 Protobuf 格式化的 Kafka 事件進行原生支援
AWS Lambda 現在透過 Apache Kafka 的事件來源對應 (ESM),為 Avro 和 Protobuf 格式化的 Kafka 事件提供原生支援,並與 AWS Glue 結構描述登錄檔 (GSR)、Confluent Cloud 結構描述登錄檔 (CCSR) 以及自我管理的 Confluent 結構描述登錄檔 (SCSR) 整合,以進行結構描述管理。這可讓您使用開放原始碼 Kafka 消費者介面來驗證您的結構描述、篩選事件和處理事件。此外,客戶可以使用 Powertools for AWS Lambda 來處理他們的 Kafka 事件,而無需編寫自訂的還原序列化程式碼,使得運用 AWS Lambda 建置 Kafka 應用程式變得更為容易。
Kafka 客戶使用 Avro 和 Protobuf 格式來實現高效的資料儲存,快速序列化和還原序列化、結構描述演進支援,以及不同程式設計語言之間的互通性。這類客戶會在資料進入處理管道之前,利用結構描述登錄檔來管理、演進和驗證結構描述。先前,客戶需要在 Lambda 函式內編寫自訂程式碼,以便在使用這些資料格式時驗證、還原序列化和篩選事件。在今天的版本推出後,Lambda 原生支援 Avro 和 Protobuf 以及與 GSR、CCSR 和 SCSR 的整合,使客戶能夠使用這些資料格式處理他們的 Kafka 事件,而無需編寫自訂程式碼。此外,客戶還可以透過事件篩選來最佳化成本,防止不必要的功能調用。
此功能已在所有提供 AWS Lambda Kafka ESM 的 AWS 商業區域正式上市,但以色列 (特拉維夫)、亞太地區 (馬來西亞) 和加拿大西部 (卡加利) 除外。
若要開始使用,請在 ESM API、AWS Console、AWS CLI、AWS SDK、AWS CloudFormation 和 AWS SAM 中提供新或現有的 Kafka ESM 的結構描述登錄檔組態。您可以選擇性地設定篩選規則,在函數調用之前捨棄不相關的 Avro 或 Protobuf 格式化事件。若要使用 Kafka 的開放原始碼 ConsumerRecords 介面來建立您的功能,請在 Lambda 函式中新增 Powertools for AWS Lambda 作為相依項。若要進一步了解,請參閱 Lambda ESM 文件和 AWS Lambda 文件。