AWS Lambda unterstützt jetzt Warteschlangen für Apache Kafka in selbstverwalteten Kafka-Ereignisquellen
AWS Lambda unterstützt jetzt Warteschlangen für Apache Kafka in selbstverwalteten Kafka-Event-Source-Mappings (ESM) für Kafka-Cluster, die Kunden selbst betreiben, und für verwaltete Angebote wie Confluent Cloud. Kunden können jetzt die Verarbeitung von Kafka-Workloads über die Partitionsanzahl eines Topics hinaus skalieren. Dadurch wird der Durchsatz bei Datenverkehrsspitzen erhöht und die Ausfallsicherheit der Verarbeitung verbessert.
Kunden, die ereignisgesteuerte Kafka-Workloads für Anwendungsfälle wie Bild- und Videokodierung, Betrugserkennung, Benachrichtigungszustellung und Telemetrieerfassung erstellen, behandeln jedes Ereignis als eigenständige Arbeitseinheit, bei der die Verarbeitungsgeschwindigkeit wichtiger ist als eine strikte Reihenfolge. Bisher verwendeten Kafka-ESMs das Kafka-Consumer-Group-Protokoll, das jede Partition genau einem Consumer in einer Consumer-Gruppe zuweist. Kunden, die auf größere Parallelität angewiesen waren, mussten Topics zu stark partitionieren oder den Traffic in ein separates Warteschlangensystem verlagern. Dadurch nahmen die zu betreibende Infrastruktur und der zu wartende Producer-Code zu. Die Wartenschlagenunterstützung für selbstverwaltete Kafka-ESMs basiert auf Kafka-Share-Gruppen, die in Apache Kafka 4.2 allgemein verfügbar sind. Durch diese Neueinführung können mehrere Event-Poller gleichzeitig Topics von derselben Partition konsumieren, wobei jeder Event-Poller bis zu zehn Aufrufe gleichzeitig unterstützt. Somit wird die Parallelität von der Partitionsanzahl entkoppelt, ohne dass Änderungen an den Producern, der Topic-Konfiguration oder dem Funktionscode vorgenommen werden müssen. Dies ermöglicht Kunden bei Datenverkehrsspitzen einen höheren Durchsatz und eine stabilere Verarbeitung, da ein langsames oder fehlgeschlagenes Ereignis andere Ereignisse in derselben Partition nicht mehr verzögert. Der Warteschlangenmodus ignoriert die Partitionsreihenfolge und ist für Workloads gedacht, die nicht darauf angewiesen sind.
Diese Funktion erfordert einen Kafka-Cluster mit aktivierten Share-Gruppen, wie Apache Kafka 4.2 oder höher, und ist in allen kommerziellen AWS-Regionen verfügbar, in denen selbstverwaltete Kafka-ESMs verfügbar sind. Um sie zu nutzen, müssen Sie zunächst über die AWS-Managementkonsole, die Lambda-API, die AWS-CLI, AWS CloudFormation, das AWS SAM oder das AWS CDK ein selbstverwaltetes Kafka-ESM erstellen, bei dem „ConsumptionMode“ auf „Queue“ gesetzt ist. Es gelten die Standard-Lambda-Preise. Kunden, die den Bereitstellungsmodus für ihr selbstverwaltetes Kafka-ESM konfigurieren, zahlen zudem für die Nutzung der Event Poller Unit (EPU). Weitere Informationen finden Sie im Entwicklerhandbuch zu AWS Lambda und in den AWS Lambda-Preisen.