AWS Lambda annonce la prise en charge native des événements Kafka au format Avro et Protobuf
AWS Lambda fournit désormais une prise en charge native pour les événements Kafka au format Avro et Protobuf avec le mappage des sources d'événements (ESM) d'Apache Kafka, et s'intègre au registre AWS Glue Schema (GSR), au registre Confluent Cloud Schema (CCSR) et au registre Confluent Schema autogéré (SCSR) pour la gestion des schémas. Cela vous permet de valider votre schéma, de filtrer les événements et de traiter les événements à l'aide des interfaces grand public Kafka open source. En outre, les clients peuvent utiliser Powertools pour AWS Lambda pour traiter leurs événements Kafka sans écrire de code de désérialisation personnalisé, ce qui facilite la création de leurs applications Kafka avec AWS Lambda.
Les clients de Kafka utilisent les formats Avro et Protobuf pour un stockage efficace des données, une sérialisation et une désérialisation rapides, la prise en charge de l'évolution des schémas et l'interopérabilité entre les différents langages de programmation. Ils utilisent le registre de schémas pour gérer, faire évoluer et valider les schémas avant que les données n'entrent dans les pipelines de traitement. Auparavant, les clients devaient écrire du code personnalisé dans leur fonction Lambda afin de valider, désérialiser et filtrer les événements lors de l'utilisation de ces formats de données. Avec le lancement d'aujourd'hui, Lambda prend en charge de manière native Avro et Protobuf ainsi que l'intégration à GSR, CCSR et SCSR, ce qui permet aux clients de traiter leurs événements Kafka à l'aide de ces formats de données, sans écrire de code personnalisé. En outre, les clients peuvent optimiser les coûts grâce au filtrage des événements afin d'éviter les appels de fonctions inutiles.
Cette fonctionnalité est généralement disponible dans toutes les régions commerciales AWS où AWS Lambda Kafka ESM est disponible, à l'exception des régions Israël (Tel Aviv), Asie-Pacifique (Malaisie) et Canada-Ouest (Calgary).
Pour commencer, indiquez la configuration de votre registre de schémas pour votre Kafka ESM, nouveau ou existant, dans l'API ESM, la console AWS, la CLI AWS, le kit SDK AWS, AWS CloudFormation et AWS SAM. Vous pouvez éventuellement configurer des règles de filtrage pour supprimer les événements au format Avro ou Protobuf non pertinents avant les invocations de fonctions. Pour créer votre fonction avec l'interface open source ConsumerRecords de Kafka, ajoutez Powertools for AWS Lambda en tant que dépendance dans votre fonction Lambda. Pour en savoir plus, consultez la documentation relative à Lambda ESM et la tarification d'AWS Lambda.