AWS Lambda prend désormais en charge les files d’attente pour Apache Kafka dans les sources d’événements Kafka autogérées
AWS Lambda prend désormais en charge les files d’attente pour Apache Kafka dans les mappages de sources d’événements (ESM) autogérés de Kafka, pour les clusters Kafka que les clients gèrent eux-mêmes et pour les offres gérées telles que Confluent Cloud. Les clients peuvent désormais mettre à l’échelle le traitement des charges de travail Kafka au-delà du nombre de partitions d’un sujet, augmenter le débit pendant les pics de trafic et améliorer la résilience du traitement.
Les clients qui élaborent des charges de travail Kafka pilotées par des événements pour des cas d’utilisation tels que l’encodage d’images et de vidéos, la détection des fraudes, l’envoi de notifications et l’ingestion de données télémétriques considèrent chaque événement comme une unité de travail indépendante, où la vitesse de traitement est plus importante que la stricte commande. Auparavant, les Kafka ESM utilisaient le protocole de groupe de consommateurs Kafka, qui attribue chaque partition à un seul consommateur au sein d’un groupe de consommateurs. Les clients ayant besoin d’un parallélisme plus élevé ont dû partitionner de manière excessive les sujets ou déplacer le trafic vers un système de file d’attente distinct, en ajoutant une infrastructure à exploiter et du code producteur à gérer. La prise en charge des files d’attente pour les Kafka ESM autogérés repose sur les groupes de partage Kafka, qui sont généralement disponibles dans Apache Kafka 4.2. Ce lancement permet à plusieurs sondeurs d’événements de consommer simultanément à partir de la même partition, chaque sondeur d’événements prenant en charge jusqu’à 10 invocations simultanées. Cela permet de dissocier le parallélisme du nombre de partitions sans modifier les producteurs, la configuration des rubriques ni le code des fonctions. Les clients bénéficient ainsi d’un débit plus élevé lors des pics de trafic et d’un traitement plus résilient, car un événement lent ou défaillant ne bloque plus les autres événements sur la même partition. Le mode file d’attente ne préserve pas l’ordre des partitions et est destiné aux charges de travail qui n’en ont pas besoin.
Cette fonctionnalité nécessite un cluster Kafka avec des groupes de partage activés, comme Apache Kafka 4.2 ou version ultérieure, et est disponible dans toutes les Régions AWS commerciales où Kafka ESM autogéré est disponible. Pour commencer, créez un Kafka ESM autogéré avec ConsumtionMode configuré sur File d’attente via la Console de gestion AWS, l’API Lambda, l’AWS CLI, AWS CloudFormation, AWS SAM ou AWS CDK. La tarification Lambda standard est en vigueur. Les clients qui configurent le mode provisionné pour leur Kafka ESM autogéré paient également pour l’utilisation de l’Unité d’interrogateur d’événements (EPU). Pour en savoir plus, consultez le Guide du développeur d’AWS Lambda et la tarification d’AWS Lambda.