Publicado: Aug 13, 2020
(Observação: este post foi atualizado 23 de fevereiro de 2021 para maior clareza sobre a funcionalidade)
O AWS Lambda agora oferece suporte ao Amazon Managed Streaming for Apache Kafka (Amazon MSK) como origem de eventos, oferecendo aos clientes mais opções para criar aplicativos sem servidor com dados de streaming. Os clientes podem criar aplicativos para consumidores Apache Kafka com funções do Lambda sem precisarem se preocupar com o gerenciamento da infraestrutura. O Amazon MSK é um serviço totalmente gerenciado que facilita a criação e execução de aplicativos que usam o Apache Kafka para processar dados de streaming.
O Lambda facilita o processamento de fluxos de dados do Amazon Kinesis Data Streams ou do Amazon DynamoDB Streams. Agora, os clientes também podem criar aplicativos acionados a partir de tópicos do Apache Kafka usando o Amazon MSK. As mensagens são processadas em lotes de até 10.000 registros, que podem conter mensagens de uma ou mais partições, até um tamanho de carga útil máximo de 6 MB. As mensagens dentro de uma partição são sempre processadas em ordem.
Para começar, selecione o tópico do Amazon MSK como a origem de eventos para a sua função do Lambda por meio do Console de Gerenciamento da AWS, da CLI da AWS, do AWS SAM ou do AWS SDK para Lambda. O Amazon MSK como origem de eventos do Lambda está disponível em todas as Regiões da AWS em que o AWS Lambda e o Amazon MSK estão disponíveis, com exceção das regiões AWS China e das regiões AWS GovCloud (EUA). O uso deste recurso não requer custo adicional. Você paga pelas invocações do Lambda acionadas por um tópico do Apache Kafka. Para saber mais sobre como criar um aplicativo de consumidor Apache Kafka com o Lambda, leia o Guia do desenvolvedor do Lambda.