AWS Lambda anuncia suporte nativo para eventos do Kafka formatados em Avro e Protobuf
O AWS Lambda agora fornece suporte nativo para eventos do Kafka formatados em Avro e Protobuf com o mapeamento de origem de eventos (ESM) do Apache Kafka e se integra ao AWS Glue Schema Registry (GSR), ao Confluent Cloud Schema Registry (CCSR) e ao Self-Managed Confluent Schema Registry (SCSR) para gerenciamento de esquemas. Isso permite que você valide seu esquema, filtre eventos e processe eventos usando interfaces de consumidor do Kafka de código aberto. Além disso, os clientes podem usar o Powertools para AWS Lambda para processar seus eventos do Kafka sem escrever um código de desserialização personalizado, facilitando a criação de suas aplicações do Kafka com o AWS Lambda.
Os clientes do Kafka usam os formatos Avro e Protobuf para armazenamento eficiente de dados, serialização e desserialização rápidas, suporte à evolução de esquemas e interoperabilidade entre diferentes linguagens de programação. Eles utilizam o registro de esquemas para gerenciar, desenvolver e validar esquemas antes que os dados entrem nos pipelines de processamento. Anteriormente, os clientes precisavam escrever código personalizado em sua função do Lambda para validar, desserializar e filtrar eventos ao usar esses formatos de dados. Com o lançamento de hoje, o Lambda oferece suporte nativo a Avro e Protobuf, bem como à integração com GSR, CCSR e SCSR, permitindo que os clientes processem seus eventos do Kafka usando esses formatos de dados, sem escrever código personalizado. Além disso, os clientes podem otimizar os custos por meio da filtragem de eventos para evitar invocações desnecessárias de funções.
Esse atributo está disponível em todas as regiões comerciais da AWS que oferecem o AWS Lambda Kafka ESM, exceto Israel (Tel Aviv), Ásia-Pacífico (Malásia) e Oeste do Canadá (Calgary).
Para começar a usá-lo, forneça sua configuração de registro de esquema para seu ESM Kafka novo ou existente na API do ESM, no Console da AWS, na AWS CLI, no AWS SDK, no AWS CloudFormation e no AWS SAM. Opcionalmente, você pode configurar regras de filtragem para descartar eventos irrelevantes formatados em Avro ou Protobuf antes das invocações de funções. Para criar sua função com a interface ConsumerRecords de código aberto do Kafka, adicione o Powertools para AWS Lambda como uma dependência em sua função do Lambda. Para saber mais, consulte a documentação do ESM do Lambda e os preços do AWS Lambda.