AWS Lambda anuncia el soporte nativo para los eventos de Kafka con formato Avro y Protobuf
AWS Lambda ahora ofrece soporte nativo para eventos de Kafka con formato Avro y Protobuf con el mapeo de fuentes de eventos (ESM) de Apache Kafka, y se integra con el registro de esquemas de AWS Glue (GSR), el registro de esquemas de nube confluentes (CCSR) y el registro autoadministrado de esquemas confluentes (SCSR) para la administración de esquemas. Esto le permite validar su esquema, filtrar eventos y procesar eventos mediante interfaces de consumidor de Kafka de código abierto. Además, los clientes pueden usar Powertools para AWS Lambda para procesar sus eventos de Kafka sin escribir código de deserialización personalizado, lo que facilita la creación de sus aplicaciones de Kafka con AWS Lambda.
Los clientes de Kafka utilizan los formatos Avro y Protobuf para un almacenamiento de datos eficiente, serialización y deserialización rápidas, soporte para la evolución de esquemas e interoperabilidad entre diferentes lenguajes de programación. Utilizan el registro de esquemas para administrar, desarrollar y validar los esquemas antes de que los datos ingresen a las canalizaciones de procesamiento. Anteriormente, los clientes debían escribir código personalizado en su función de Lambda para validar, deserializar y filtrar los eventos cuando utilizaban estos formatos de datos. Con el lanzamiento de hoy, Lambda admite de forma nativa Avro y Protobuf, así como la integración con GSR, CCSR y SCSR. Esto permite que los clientes procesen sus eventos de Kafka con estos formatos de datos, sin necesidad de escribir código personalizado. Además, los clientes pueden optimizar los costos mediante el filtrado de eventos para evitar invocaciones de funciones innecesarias.
Esta característica está disponible de forma general en todas las regiones comerciales de AWS en las que Kafka ESM de AWS Lambda está disponible, excepto en Israel (Tel Aviv), Asia-Pacífico (Malasia) y Oeste de Canadá (Calgary).
Para empezar, proporcione la configuración de registro del esquema para su Kafka ESM nuevo o existente en la API de ESM, la consola de AWS, AWS CLI, AWS SDK, AWS CloudFormation y AWS SAM. Si quiere, puede configurar reglas de filtrado para descartar los eventos con formato Avro o Protobuf irrelevantes antes de invocar funciones. Para crear su función con la interfaz ConsumerRecords de código abierto de Kafka, agregue Powertools for AWS Lambda como una dependencia dentro de su función de Lambda. Para obtener más información, consulte la documentación de la ESM de Lambda y los precios de AWS Lambda.