AWS Lambda introduce il supporto nativo per gli eventi Kafka in formato Avro e Protobuf
AWS Lambda ora offre supporto nativo per eventi Kafka in formato Avro e Protobuf utilizzando la mappatura origine eventi (ESM) di Apache Kafka e si integra con il registro degli schemi di AWS Glue (GSR), il registro degli schemi di Confluent Cloud (CCSR) e il registro degli schemi autogestito di Confluent (SCSR) per la gestione degli schemi. In questo modo è possibile convalidare gli schemi, filtrare e processare gli eventi utilizzando le interfacce consumer open source di Kafka. Inoltre, i clienti possono utilizzare Powertools per AWS Lambda per elaborare gli eventi Kafka senza dover scrivere codice personalizzato per la deserializzazione, semplificando così la creazione delle proprie applicazioni Kafka con AWS Lambda.
I clienti Kafka utilizzano i formati Avro e Protobuf per un'archiviazione di dati efficiente, una serializzazione e deserializzazione rapida, il supporto all'evoluzione degli schemi e l'interoperabilità tra diversi linguaggi di programmazione. Utilizzano un registro degli schemi per gestire, aggiornare e convalidare gli schemi prima che i dati entrino nelle pipeline di elaborazione. In precedenza, quando utilizzavano questi formati di dati, i clienti dovevano scrivere codice personalizzato all'interno della funzione Lambda per convalidare, deserializzare e filtrare gli eventi. Con il lancio odierno Lambda supporta i formati Avro e Protobuf e si integra con GSR, CCSR e SCSR nativamente, consentendo ai clienti di elaborare gli eventi Kafka con questi formati di dati, senza dover scrivere codice personalizzato. Inoltre, i clienti possono ottimizzare i costi grazie alla possibilità di filtrare gli eventi, evitando invocazioni non necessarie della funzione.
Questa funzionalità è disponibile al pubblico in tutte le regioni commerciali AWS in cui è accessibile la funzionalità Kafka ESM con AWS Lambda, ad eccezione di Israele (Tel Aviv), Asia Pacifico (Malesia) e Canada occidentale (Calgary).
Per iniziare, fornisci la configurazione del registro degli schemi per la mappatura origine eventi (ESM) Kafka, nuova o esistente, tramite l'API ESM, la console AWS, l'interfaccia a riga di comando AWS, gli AWS SDK, AWS CloudFormation e AWS SAM. È anche possibile impostare regole per filtrare e scartare eventi in formato Avro o Protobuf non rilevanti prima delle invocazioni delle funzioni. Per creare la funzione utilizzando l'interfaccia open source ConsumerRecords di Kafka, aggiungi Powertools per AWS Lambda come dipendenza all'interno della funzione Lambda. Per saperne di più, consulta la documentazione di Lambda ESM e la pagina dei prezzi di AWS Lambda.