A Solução de dados em streaming da AWS para Amazon Kinesis configura automaticamente os serviços da AWS necessários para capturar, armazenar, processar e entregar dados em streaming com facilidade. Essa solução ajuda a resolver casos de uso de streaming em tempo real, como captura de logs de aplicativos de alto volume, análise de dados de clickstream, entrega contínua para um data lake e muito mais. Para fornecer flexibilidade para se adaptar a diferentes casos de uso e necessidades de negócios, essa solução oferece dois modelos do AWS CloudFormation. Os desenvolvedores podem usar essa solução para testar novas combinações de serviços como base para seus ambientes de produção ou para melhorar um aplicativo existente que eles já tenham implementado.
Esta solução reduz o tempo de desenvolvimento em dias, removendo ou reduzindo a necessidade de: modelar e provisionar recursos usando o AWS CloudFormation; configurar alarmes, painéis e registros do Amazon CloudWatch e implementar manualmente as melhores práticas de dados em streaming na AWS. Essa solução é independente de dados e lógica, permitindo que você comece com o código padronizado e inicie a personalização rapidamente. Após a implantação, você pode usar os recursos de monitoramento da solução para fazer a transição para produção facilmente.
A Solução de dados em streaming da AWS para Amazon Kinesis usa modelos em que os dados fluem por produtores, armazenamento de streaming, consumidores e destinos. Os produtores geram dados continuamente e os enviam para armazenamento de streaming, onde são capturados de forma duradoura e disponibilizados para processamento por um consumidor de dados. Os consumidores de dados processam os dados e, em seguida, os enviam para um destino.
Atualmente, essa solução fornece dois modelos, mas outros estão em desenvolvimento. Os modelos do AWS CloudFormation usam o Amazon Kinesis Data Streams para armazenamento de streaming. Um modelo usa o Amazon API Gateway para ingestão e o AWS Lambda como consumidor. O segundo modelo usa ingestão direta no Kinesis Data Streams a partir do Amazon Elastic Compute Cloud (Amazon EC2), o Amazon Kinesis Data Analytics como consumidor e o Amazon Simple Storage Service (Amazon S3) como destino de armazenamento. Cada modelo permite combinar diferentes componentes e estendê-las para atender às suas necessidades.
Visão geral da Implementação de soluções da AWS
Esta solução configura automaticamente os principais serviços da AWS necessários para capturar, armazenar, processar e fornecer dados em streaming com facilidade. Duas opções estão disponíveis, cada uma com código de demonstração personalizável. Escolha o modelo que corresponde ao seu caso de uso e aos seus requisitos de negócios e use o guia de implementação para implantar.
Opção 1
Opção 2
Opção 1
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Esse modelo usa o API Gateway para ingestão, que fornece uma camada de abstração do armazenamento de streaming (Kinesis Data Streams). Essa camada de abstração permite que você implemente abordagens de autenticação personalizadas para produtores de dados, controle cotas para produtores específicos e altere o stream do Kinesis de destino.
Esse modelo usa o AWS Lambda como consumidor de dados, que é adequado para casos de uso que não requerem estado interno, como filtragem, processamento de eventos de negócios e limpeza de dados. O AWS Lambda oferece uma área de superfície pequena para cenários de erro e é simples de escalar e operar.
Este modelo do AWS CloudFormation usa ingestão direta do Amazon EC2 para o Kinesis Data Streams. Este modelo é mais adequado para situações em que você tem um certo nível de controle sobre o código que está gravando no Kinesis Data Streams. Isso permite fornecer otimizações de custo por meio do armazenamento em buffer no produtor de dados e apresenta menos recursos para gerenciar.
O Kinesis Data Analytics for Apache Flink é o consumidor de dados, que é mais adequado quando seu caso de uso requer recursos como aplicativos duradouros e processamento exatamente uma vez. O Kinesis Data Analytics for Apache Flink também é eficiente no processamento de streams de dados de alto volume com baixa latência e alta disponibilidade. Os casos de uso que podem se beneficiar desses recursos incluem streaming de extração, transformação e carregamento (ETL), análises em tempo real, análises preditivas e machine learning.
Para os serviços que você selecionar, o seguinte é fornecido em cada modelo do Amazon CloudFormation criado pela Solução de dados em streaming da AWS para Amazon Kinesis: configurações padrão recomendadas para recursos criados; logs, métricas, alarmes e painéis do Amazon CloudWatch; funções e políticas gerenciadas do AWS Identity and Access Management (IAM); configuração do Amazon CloudTrail e práticas recomendadas de segurança, incluindo criptografia com o uso do AWS Key Management Service.
Recursos
Configurações automatizadas
Configure automaticamente os serviços da AWS necessários para capturar, armazenar, processar e entregar dados em streaming com facilidade.
Flexibilidade
Para fornecer flexibilidade para se adaptar a diferentes casos de uso e necessidades de negócios, essa solução oferece dois modelos do AWS CloudFormation. Os desenvolvedores podem usar essa solução para testar novas combinações de serviços como base para seus ambientes de produção ou para melhorar um aplicativo existente que eles já tenham implementado.
Casos de uso de streaming em tempo real
Capture logs de aplicativos de alto volume, analise dados de clickstream, forneça continuamente para um data lake e muito mais.
Independente de dados e lógica
Personalize rapidamente o código padronizado da solução. Após a implantação, faça a transição para a produção facilmente com os recursos de monitoramento da solução usando o Amazon CloudWatch.
Implante você mesmo uma solução
Explore nossa biblioteca de Implementações de soluções da AWS para obter respostas para problemas comuns de arquitetura.
