AWS Lambda artık kendi kendini yöneten Kafka olay kaynaklarında Apache Kafka kuyruklarını destekliyor
AWS Lambda artık kendi kendini yöneten Kafka olay kaynağı eşlemelerinde (ESM), müşterilerin kendi işlettiği Kafka kümeleri ve Confluent Cloud gibi yönetilen teklifler için Apache Kafka kuyruklarını destekliyor. Müşteriler artık Kafka iş yükleri için işlemeyi bir konunun bölüm sayısının ötesine ölçeklendirebilir, trafik artışları sırasında aktarım hızını artırabilir ve işlem esnekliğini iyileştirebilir.
Görüntü ve video kodlama, dolandırıcılık tespiti, bildirim dağıtımı ve telemetri alma gibi kullanım durumları için olay odaklı Kafka iş yükleri oluşturan müşteriler, her olayı işlem hızının sıkı sıralamalardan daha önemli olduğu bağımsız bir iş birimi olarak ele alır. Kafka ESM'leri, bundan önce her bölümü bir tüketici grubu içindeki tek bir tüketiciye atayan Kafka tüketici grup protokolünü kullanıyordu. Daha fazla paralelliğe ihtiyaç duyan müşteriler konuları fazladan bölümlere ayırmak veya trafiği farklı bir sıralama sistemine geçirmek zorunda kalıyorlardı. Bu durum yönetecek altyapı ve bakımı yapılacak üretici kodu sayısını arttırırdı. Kendi kendini yöneten Kafka ESM'leri için kuyruk desteği, genellikle Apache Kafka 4.2'de bulunan Kafka paylaşım grupları üzerine kurulmuştur. Bu lansman, birden fazla olay yoklayıcısının aynı bölümden aynı anda tüketim yapmasına olanak tanır ve her olay yoklayıcısı 10'a kadar eş zamanlı çağrıyı destekler. Bu, üreticilerde, konu yapılandırmasında veya işlev kodunda değişiklik yapmadan paralelliği bölüm sayısından ayırır. Sonuç olarak, yavaş veya başarısız bir olay artık aynı bölümdeki diğer olayları durdurmadığı için müşteriler trafik artışları sırasında daha yüksek aktarım hızı ve daha dayanıklı işleme elde eder. Kuyruk modu bölüm sırasını korumaz ve bunu gerektirmeyen iş yükleri için tasarlanmıştır.
Bu özellik, Apache Kafka 4.2 veya üzeri gibi paylaşım gruplarının etkin olduğu bir Kafka kümesi gerektirir ve kendi kendini yöneten Kafka ESM'nin kullanılabildiği tüm AWS ticari Bölgelerinde kullanılabilir. Başlamak için AWS Yönetim Konsolu, Lambda API'si, AWS CLI, AWS CloudFormation, AWS SAM veya AWS CDK aracılığıyla ConsumptionMode ayarı Queue olarak ayarlanmış kendi kendine yönetilen bir Kafka ESM oluşturun. Standart Lambda fiyatlandırması uygulanır. Kendi kendini yöneten Kafka ESM'leri için tedarik edilen modunu yapılandıran müşteriler, Olay Yoklayıcısı Birimi (EPU) kullanımı için de ödeme yapar. Daha fazla bilgi edinmek için AWS Lambda Geliştirici Kılavuzu'na ve AWS Lambda fiyatlandırmasına bakın.