AWS Lambda mengumumkan dukungan asli untuk peristiwa Kafka berformat Avro dan Protobuf
AWS Lambda sekarang menyediakan dukungan asli untuk acara Kafka yang diformat Avro dan Protobuf dengan pemetaan sumber peristiwa (ESM) Apache Kafka, dan terintegrasi dengan registri AWS Glue Schema (GSR), registri Confluent Cloud Schema (CCSR), dan registri Confluent Schema yang dikelola sendiri (SCSR) untuk manajemen skema. Ini memungkinkan Anda untuk memvalidasi skema, memfilter peristiwa, dan memproses peristiwa menggunakan antarmuka konsumen Kafka sumber terbuka. Selain itu, pelanggan dapat menggunakan Powertools for AWS Lambda untuk memproses peristiwa Kafka mereka tanpa menulis kode deserialisasi khusus, sehingga memudahkan pembuatan aplikasi Kafka mereka dengan AWS Lambda.
Pelanggan Kafka menggunakan format Avro dan Protobuf untuk penyimpanan data yang efisien, serialisasi dan deserialisasi cepat, dukungan evolusi skema, dan interoperabilitas antara bahasa pemrograman yang berbeda. Mereka menggunakan registri skema untuk mengelola, mengembangkan, dan memvalidasi skema sebelum data memasuki pipeline pemrosesan. Sebelumnya, pelanggan diminta untuk menulis kode khusus dalam fungsi Lambda mereka, untuk memvalidasi, de-serialisasi, dan memfilter peristiwa saat menggunakan format data ini. Dengan peluncuran hari ini, Lambda secara native mendukung Avro dan Protobuf serta integrasi dengan GSR, CCSR dan SCSR, memungkinkan pelanggan untuk memproses acara Kafka mereka menggunakan format data ini, tanpa menulis kode khusus. Selain itu, pelanggan dapat mengoptimalkan biaya melalui pemfilteran acara untuk mencegah invokasi fungsi yang tidak perlu.
Fitur ini umumnya tersedia di semua Region Komersial AWS tempat AWS Lambda Kafka ESM tersedia, kecuali Israel (Tel Aviv), Asia Pasifik (Malaysia), dan Kanada Barat (Calgary).
Untuk memulai, berikan konfigurasi registri skema Anda untuk Kafka ESM baru atau yang sudah ada di ESM API, Konsol AWS, AWS CLI, AWS SDK, AWS CloudFormation, dan AWS SAM. Secara opsional, Anda dapat mengatur aturan pemfilteran untuk membuang peristiwa berformat Avro atau Protobuf yang tidak relevan sebelum invokasi fungsi. Untuk membangun fungsi Anda dengan antarmuka ConsumerRecords open-source Kafka, tambahkan Powertools untuk AWS Lambda sebagai dependensi dalam fungsi Lambda Anda. Untuk mempelajari selengkapnya, baca dokumentasi Lambda ESM dan harga AWS Lambda.