Publicado: Nov 9, 2023
O AWS Lambda lança as melhorias de ajuste de escala automático para o Amazon MSK e o Apache Kafka autogerenciado como origens de eventos. Com esse lançamento, os clientes agora experimentarão um ajuste de escala mais rápido e um throughput mais consistente ao processar mensagens do Kafka com funções do Lambda.
O mapeamento da origem do evento do Kafka tem sido uma ótima opção para clientes do Lambda que precisam de um consumidor do Kafka que possa escalar horizontalmente sem afetar outras workloads. No entanto, os clientes que usaram o mapeamento da origem do evento do Kafka observaram que o mapeamento da origem do evento não teve a escala aumentada verticalmente com rapidez suficiente, levando ao aumento da latência e do OffsetLag. Esses problemas foram especialmente pronunciados em workloads em que um grande número de mensagens chega em intervalos curtos. Nossos aprimoramentos recentes resolvem esses problemas ao permitir que os mapeamentos da origem do evento do Kafka alcancem um throughput máximo até duas vezes mais rápido. Essas mudanças reduzirão os atrasos no processamento em muitas workloads, nas quais as workloads sensíveis à latência terão as maiores melhorias, com grandes quantidades de mensagens que chegam em intervalos irregulares.
As melhorias de ajuste de escala automático do mapeamento da origem do evento do Kafka estão disponíveis em todas as regiões comerciais nas quais o AWS Lambda e o Amazon MSK são oferecidos, exceto na China (Pequim), na China (Ningxia) e nas regiões AWS GovCloud (EUA). Para obter mais informações sobre disponibilidade, consulte a tabela de regiões da AWS.
Essas melhorias de ajuste de escala automático são aplicadas a mapeamentos da origem do evento novos e existentes do Kafka. Veja essas melhorias em ação no blog de computação da AWS. Para obter mais detalhes, consulte a documentação do mapeamento da origem do evento do MSK e do mapeamento da origem do evento do Apache Kafka.