发布于: Aug 17, 2022
使用 Amazon Managed Streaming for Apache Kafka (MSK) 或自行管理式 Kafka 作为事件源时,AWS Lambda 现已支持自定义使用者组 ID。Kafka 使用使用者组 ID 来标识使用者的会员身份,并记录使用者检查点。使用自定义使用者组 ID 非常适合工作负载需要灾难恢复或故障转移支持的客户。
通过 Lambda,您可以轻松地大规模使用 Kafka 主题中的事件。当 Lambda 从主题开始使用时,将显示一个使用者组 ID,该 ID 始终是一个随机生成的唯一值,可确保将 Lambda 标识为主题的新组使用者,并且将在指定位置(Latest 或 Trim 地平线)开始处理。现在,通过指定的使用者组 ID,无需将 Lambda 标识为新使用者组。Kafka 将 Lambda 标识为现有使用者组时,改为从 Kafka 记录使用者组离开的位置开始使用,或者如果偏移不再有效,将从 Trim 地平线开始。在灾难恢复工作流中,使用 Apache MirrorMaker2 的客户可以在 Lambda 中使用自定义使用者组 ID,以便从镜像的 Kafka 集群恢复处理。
您可以通过 AWS 管理控制台、AWS CLI、AWS SAM 或 AWS SDK for Lambda 开始在 Amazon MSK 和自行管理式 Kafka 中使用自定义使用者组 ID。此功能可在提供 AWS Lambda 的所有区域免费使用。有关 AWS Lambda 可用区的更多信息,请参阅 AWS 区域表。要了解有关使用 Lambda 构建 Apache Kafka 使用者应用程序的更多信息,请阅读 Lambda 开发人员指南和 AWS 计算博客。