AWS Lambda, Avro ve Protobuf biçimlendirilmiş Kafka etkinliklerine yönelik yerel desteği duyurdu
AWS Lambda artık Apache Kafka'nın olay kaynağı eşlemesi (ESM) ile Avro ve Protobuf biçimlendirilmiş Kafka olayları için yerel destek sağlar. Ek olarak, şema yönetimi için AWS Glue Şema kayıt defteri (GSR), Confluent Cloud Şema kayıt defteri (CCSR) ve kendi kendine yönetilen Confluent Şema kayıt defteri (SCSR) ile entegrasyon sağlar. Bu, açık kaynaklı Kafka tüketici arabirimlerini kullanarak şemanızı doğrulamanızı, olayları filtrelemenizi ve olayları işlemenizi sağlar. Ayrıca müşteriler, özel seriden çıkarma kodu yazmadan Kafka etkinliklerini işlemek için Powertools for AWS Lambda'yı da kullanabilir. Bu, AWS Lambda ile Kafka uygulamaları oluşturmayı kolaylaştırır.
Kafka müşterileri verimli veri depolama, serileştirme ve seriden çıkarma, şema geliştirme desteği ve farklı programlama dilleri arasında birlikte çalışabilirlik için Avro ve Protobuf formatlarını kullanır. Veriler işlem hatlarına girmeden önce şemaları yönetmek, geliştirmek ve doğrulamak için şema kayıt defterini kullanırlar. Önceden, müşterilerin bu veri formatlarını kullanırken olayları doğrulamak, seriden çıkarmak ve filtrelemek için Lambda işlevleri içinde özel kod yazması gerekiyordu. Bugünkü lansmanla Lambda; Avro ve Protobuf'un yanı sıra GSR, CCSR ve SCSR ile entegrasyonu yerel olarak destekleyerek müşterilerin Kafka olaylarını bu veri formatlarını kullanarak ve özel kod yazmadan işleyebilmesini sağlar. Ek olarak, müşteriler gereksiz işlev çağrılarını önlemek için olay filtreleme yoluyla maliyetleri optimize edebilir.
Bu özellik, İsrail (Tel Aviv), Asya Pasifik (Malezya) ve Kanada Batı (Calgary) hariç olmak üzere AWS Lambda Kafka ESM'nin kullanılabildiği tüm AWS Ticari Bölgelerinde genel olarak kullanılabilir.
Başlamak için, yeni veya mevcut Kafka ESM'nize yönelik şema kayıt defteri yapılandırmanızı ESM API'si, AWS Konsolu, AWS CLI, AWS SDK, AWS CloudFormation veya AWS SAM üzerinden gönderin. İsteğe bağlı olarak, filtreleme kurallarını, işlev çağrılarından önce alakasız Avro veya Protobuf biçimlendirilmiş olayları atılacak şekilde ayarlayabilirsiniz. Fonksiyonunuzu Kafka'nın açık kaynaklı ConsumerRecords arabirimiyle oluşturmak için Powertools for AWS Lambda'yı Lambda işlevinize bağımlılık olarak ekleyin. Daha fazla bilgi için Lambda ESM belgelerini ve AWS Lambda fiyatlandırmasını okuyun.