AWS Lambda supporta ora le code per Apache Kafka nelle sorgenti di eventi Kafka autogestite
AWS Lambda supporta ora le code per Apache Kafka negli strumenti di mappatura dell'origine degli eventi Kafka autogestiti (ESM), sia per i cluster Kafka gestiti direttamente dai clienti sia per le offerte gestite quali Confluent Cloud. I clienti possono ora scalare l'elaborazione dei carichi di lavoro Kafka oltre il numero di partizioni di un argomento, aumentando il throughput durante i picchi di traffico e migliorando la resilienza dell'elaborazione.
I clienti che creano carichi di lavoro Kafka basati su eventi per casi d'uso quali la codifica di immagini e video, il rilevamento delle frodi, l'invio di notifiche e l'acquisizione della telemetria considerano ciascun evento come un'unità di lavoro indipendente, per la quale la velocità di elaborazione è più importante del rigoroso ordinamento. In precedenza, gli ESM Kafka utilizzavano il protocollo dei gruppi di consumer Kafka, che assegna ogni partizione a un solo consumer all'interno di un gruppo di consumer. I clienti che necessitavano di un parallelismo superiore dovevano partizionare eccessivamente gli argomenti o instradare il traffico verso un sistema di accodamento separato, aggiungendo infrastruttura da gestire e codice dei producer da mantenere. Il supporto delle code per gli ESM Kafka autogestiti si basa sui gruppi di condivisione Kafka, generalmente disponibili in Apache Kafka 4.2. Questo lancio consente a più poller di eventi di consumare dati contemporaneamente dalla stessa partizione, dove ciascun poller di eventi supporta fino a 10 invocazioni simultanee. Ciò disaccoppia il parallelismo dal conteggio delle partizioni senza richiedere modifiche ai producer, alla configurazione degli argomenti o al codice della funzione. Di conseguenza, i clienti ottengono un throughput più elevato durante i picchi di traffico e un'elaborazione più resiliente, in quanto un evento lento o non riuscito non blocca più gli altri eventi presenti nella medesima partizione. La modalità coda non mantiene l'ordinamento delle partizioni ed è destinata ai carichi di lavoro che non richiedono tale requisito.
Questa funzionalità richiede un cluster Kafka con gruppi di condivisione abilitati, ad esempio Apache Kafka 4.2 o versioni successive, ed è disponibile in tutte le regioni commerciali AWS in cui sono disponibili gli ESM Kafka autogestiti. Per iniziare, crea uno strumento di mappatura dell'origine degli eventi Kafka autogestito con ConsumptionMode impostato su Queue tramite la Console di gestione AWS, l'API Lambda, l'AWS CLI, AWS CloudFormation, AWS SAM o AWS CDK. Si applicano i prezzi Lambda standard. I clienti che configurano la modalità con provisioning per il proprio ESM Kafka autogestito pagano anche per l'utilizzo delle Event Poller Unit (EPU). Per ulteriori informazioni, consulta la Guida per lo sviluppatore di AWS Lambda e la pagina dei prezzi di AWS Lambda.