AWS Lambda 現在支援自主管理 Kafka 事件來源中的 Apache Kafka 佇列
AWS Lambda 現在於自主管理 Kafka 事件來源對應 (ESM) 中支援 Apache Kafka 佇列,適用於客戶自行執行的 Kafka 叢集,以及 Confluent Cloud 等受管供應項目。 客戶現在可以將 Kafka 工作負載的處理擴展至超越主題的分割區數量,在流量尖峰期間提高輸送量,並提升處理復原能力。
針對影像與影片編碼、詐騙偵測、通知傳遞及遙測擷取等使用案例建置事件驅動 Kafka 工作負載的客戶,會將每個事件視為獨立的工作單位,此時處理速度比嚴格排序更為重要。過去,Kafka ESM 採用 Kafka 取用者群組通訊協定,會將每個分割區指派給取用者群組中的單一取用者。需要更高平行處理能力的客戶必須將主題過度分割,或將流量移至獨立的佇列系統,因而增加需要操作的基礎設施與需要維護的生產者程式碼。自主管理 Kafka ESM 的佇列支援是以 Kafka 共用群組為基礎建置,該功能已在 Apache Kafka 4.2 中正式推出。此次推出可讓多個事件輪詢器從相同的分割區同時取用,每個事件輪詢器最多支援 10 個並行調用。如此可讓平行處理能力與分割區數量脫鉤,且無須變更生產者、主題組態或函式程式碼。因此,客戶可在流量尖峰期間獲得更高的輸送量與更具復原能力的處理,因為緩慢或失敗的事件不再阻礙相同分割區中的其他事件。佇列模式不會保留分割區順序,適用於不需要此順序的工作負載。
此功能需要已啟用共用群組的 Kafka 叢集,例如 Apache Kafka 4.2 或更新版本,並適用於提供自主管理 Kafka ESM 的所有 AWS 商業區域。若要開始使用,請透過 AWS 管理主控台、Lambda API、AWS CLI、AWS CloudFormation、AWS SAM 或 AWS CDK 建立自主管理 Kafka ESM,並將 ConsumptionMode 設為 Queue。需支付標準 Lambda 定價。為自主管理 Kafka ESM 設定佈建模式的客戶,也需支付事件輪詢器單位 (EPU) 的使用費用。若要進一步了解,請參閱 AWS Lambda 開發人員指南和 AWS Lambda 定價。