AWS Lambda kündigt native Unterstützung für Kafka-Ereignisse im Avro- und Protobuf-Format an
AWS Lambda bietet jetzt native Unterstützung für Avro- und Protobuf-formatierte Kafka-Ereignisse mit Event-Source-Mapping (ESM) von Apache Kafka und lässt sich für die Schemaverwaltung in die AWS Glue Schema Registry (GSR), die Confluent Cloud Schema Registry (CCSR) und die selbstverwaltete Confluent Schema Registry (SCSR) integrieren. Auf diese Weise können Sie Ihr Schema validieren, Ereignisse filtern und Ereignisse mithilfe von Open-Source-Kafka-Verbraucherschnittstellen verarbeiten. Darüber hinaus können Kunden Powertools für AWS Lambda verwenden, um ihre Kafka-Ereignisse zu verarbeiten, ohne benutzerdefinierten Deserialisierungscode zu schreiben, was die Erstellung ihrer Kafka-Anwendungen mit AWS Lambda erleichtert.
Kafka-Kunden verwenden die Formate Avro und Protobuf für effiziente Datenspeicherung, schnelle Serialisierung und Deserialisierung, Unterstützung der Schemaentwicklung und Interoperabilität zwischen verschiedenen Programmiersprachen. Sie verwenden die Schemaregistrierung, um Schemas zu verwalten, weiterzuentwickeln und zu validieren, bevor Daten in Verarbeitungspipelines gelangen. Bisher mussten Kunden benutzerdefinierten Code in ihre Lambda-Funktion schreiben, um Ereignisse bei Verwendung dieser Datenformate zu validieren, zu deserialisieren und zu filtern. Mit dem heutigen Launch unterstützt Lambda nativ Avro und Protobuf sowie die Integration mit GSR, CCSR und SCSR, sodass Kunden ihre Kafka-Ereignisse mit diesen Datenformaten verarbeiten können, ohne benutzerdefinierten Code schreiben zu müssen. Darüber hinaus können Kunden die Kosten durch das Filtern von Ereignissen optimieren, um unnötige Funktionsaufrufe zu verhindern.
Dieses Feature ist in allen kommerziellen AWS-Regionen allgemein verfügbar, in denen AWS Lambda Kafka ESM verfügbar ist, mit Ausnahme der Regionen Israel (Tel Aviv), Asien-Pazifik (Malaysia) und Kanada West (Calgary).
Stellen Sie zunächst Ihre Schema-Registrierungskonfiguration für Ihr neues oder vorhandenes Kafka ESM in der ESM-API, der AWS-Konsole, der AWS-CLI, dem AWS-SDK, AWS CloudFormation und AWS SAM bereit. Optional können Sie Filterregeln einrichten, um irrelevante Ereignisse im Avro- oder Protobuf-Format vor Funktionsaufrufen zu verwerfen. Um Ihre Funktion mit der Open-Source-ConsumerRecords-Schnittstelle von Kafka zu erstellen, fügen Sie Powertools für AWS Lambda als Abhängigkeit zu Ihrer Lambda-Funktion hinzu. Weitere Informationen erhalten Sie über die Lambda-ESM-Dokumentation und unter AWS-Lambda-Preise.