Publié le: Aug 17, 2022
AWS Lambda prend désormais en charge les ID de groupe de consommateurs personnalisés lorsque vous utilisez Amazon Managed Streaming for Apache Kafka (MSK) ou Self-Managed Kafka comme source d'événements. Kafka utilise les ID de groupe de consommateurs pour identifier l'appartenance des consommateurs et enregistrer les points de contrôle des consommateurs. L'utilisation d'un ID de groupe de consommateurs personnalisé est idéale pour les clients dont les charges de travail nécessitent une reprise après sinistre ou une prise en charge des basculements.
Lambda facilite la consommation d'événements à partir de rubriques Kafka à grande échelle. Lorsque Lambda commence à consommer à partir d'un sujet, il présente un ID de groupe de consommateurs. Il s'agit toujours d'une valeur unique générée de manière aléatoire qui garantit que Lambda sera identifié comme un nouveau groupe de consommateurs pour la rubrique et que le traitement commencera à la position spécifiée (horizon le plus récent ou Trim). Désormais, avec un ID de groupe de consommateurs spécifié, Lambda n'a pas besoin d'être identifié comme un nouveau groupe de consommateurs. Lorsque Kafka identifie Lambda comme un groupe de consommateurs existant, la consommation commencera à l'endroit où Kafka a enregistré le groupe de consommateurs, ou à l'horizon Trim si le décalage n'est plus valide. Dans les flux de travail de reprise après sinistre, les clients utilisant Apache MirrorMaker2 peuvent utiliser Lambda avec un ID de groupe de consommateurs personnalisé pour reprendre le traitement à partir d'un cluster Kafka en miroir.
Vous pouvez commencer à utiliser des ID de groupe de consommateurs personnalisés pour Amazon MSK et Self-Managed Kafka via la Console de gestion AWS, l'Interface de la ligne de commande AWS (AWS CLI), AWS SAM ou le kit SDK AWS pour Lambda. Ils sont disponibles sans aucuns coûts supplémentaires dans toutes les régions où AWS Lambda est disponible. Pour en savoir plus sur la disponibilité d'AWS Lambda, consultez le tableau des régions AWS. Pour en savoir plus sur la création d'une application client Apache Kafka avec Lambda, lisez le Guide du développeur Lambda et le blog AWS Compute.