AWS Lambda kini mendukung antrean untuk Apache Kafka di sumber peristiwa Kafka yang dikelola sendiri
AWS Lambda kini mendukung antrean untuk Apache Kafka dalam pemetaan sumber peristiwa Kafka (ESM) yang dikelola sendiri, untuk klaster Kafka yang dijalankan pelanggan sendiri, dan untuk penawaran terkelola seperti Confluent Cloud. Kini pelanggan dapat meningkatkan skala pemrosesan untuk beban kerja Kafka melebihi jumlah partisi suatu topik, sehingga meningkatkan throughput selama lonjakan lalu lintas dan meningkatkan ketahanan pemrosesan.
Pelanggan yang membangun beban kerja Kafka berbasis peristiwa untuk kasus penggunaan seperti encoding gambar dan video, deteksi penipuan, pengiriman notifikasi, dan penyerapan telemetri memperlakukan setiap peristiwa sebagai unit kerja independen, di mana kecepatan pemrosesan lebih penting daripada urutan yang ketat. Sebelumnya, Kafka ESM menggunakan protokol grup konsumen Kafka, yang menetapkan setiap partisi ke tepat satu konsumen dalam sebuah grup konsumen. Pelanggan yang membutuhkan paralelisme lebih tinggi harus melakukan partisi topik secara berlebihan atau memindahkan lalu lintas ke sistem antrean terpisah, sehingga menambah infrastruktur untuk dioperasikan dan kode produsen untuk dipelihara. Dukungan antrean untuk Kafka ESM yang dikelola sendiri dibangun di atas grup berbagi Kafka, yang umumnya tersedia di Apache Kafka 4.2. Peluncuran ini memungkinkan beberapa poller peristiwa untuk mengonsumsi data secara bersamaan dari partisi yang sama, dengan setiap poller peristiwa mendukung hingga 10 invokasi bersamaan. Ini memisahkan paralelisme dari jumlah partisi tanpa perubahan pada produsen, konfigurasi topik, atau kode fungsi. Akibatnya, pelanggan mendapatkan throughput yang lebih tinggi selama lonjakan lalu lintas dan pemrosesan yang lebih tangguh, karena suatu kejadian yang lambat atau gagal tidak lagi menghambat kejadian lain di partisi yang sama. Mode antrean tidak mempertahankan urutan partisi dan ditujukan untuk beban kerja yang tidak membutuhkannya.
Kemampuan ini memerlukan klaster Kafka dengan grup berbagi yang diaktifkan, seperti Apache Kafka 4.2 atau yang lebih baru, dan tersedia di semua Region komersial AWS tempat Kafka ESM yang dikelola sendiri tersedia. Untuk memulai, buat Kafka ESM yang dikelola sendiri dengan ConsumptionMode diatur ke Queue melalui Konsol Manajemen AWS, Lambda API, AWS CLI, AWS CloudFormation, AWS SAM, atau AWS CDK. Harga standar Lambda berlaku. Pelanggan yang mengkonfigurasi mode yang disediakan untuk Kafka ESM yang dikelola sendiri juga membayar biaya penggunaan Event Poller Unit (EPU). Untuk mempelajari lebih lanjut, lihat Panduan Pengembang AWS Lambda dan harga AWS Lambda.