O que faz esta Implementação de soluções da AWS?
A Solução de dados em streaming da AWS para Amazon Kinesis configura automaticamente os serviços da AWS necessários para capturar, armazenar, processar e entregar dados em streaming com facilidade. Essa solução ajuda a resolver casos de uso de streaming em tempo real, por exemplo, como captura de logs de aplicações de alto volume, análise de dados de clickstream, entrega contínua para um data lake e muito mais. Para fornecer flexibilidade para se adaptar a diferentes casos de uso e necessidades de negócios, essa solução oferece quatro modelos do AWS CloudFormation. Cada modelo permite combinar diferentes componentes e estendê-las para atender às suas necessidades. Você pode usar essa solução para testar novas combinações de serviços como base para seu ambiente de produção ou para melhorar aplicações existentes.
Esta solução reduz o tempo de desenvolvimento removendo ou reduzindo a necessidade de: modelar e provisionar recursos usando o AWS CloudFormation; configurar alarmes, painéis e registros do Amazon CloudWatch e implementar manualmente as melhores práticas de dados em streaming na AWS. Essa solução é independente de dados e lógica, permitindo que você comece com o código padronizado e inicie a personalização rapidamente. Após a implantação, você pode usar os recursos de monitoramento da solução para fazer a transição para produção facilmente.
A Solução de dados em streaming da AWS para Amazon Kinesis usa modelos em que os dados fluem por produtores, armazenamento de streaming, consumidores e destinos. Os produtores geram dados continuamente e os enviam para armazenamento de streaming, onde são capturados de forma duradoura e disponibilizados para processamento por um consumidor de dados. Os consumidores de dados processam os dados e, em seguida, os enviam para um destino.
Visão geral da Implementação de soluções da AWS
Os diagramas abaixo apresentam os quatro modelos do AWS CloudFormation que você pode implantar automaticamente usando o guia de implementação da solução.
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4.
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 1 – Modelo do AWS CloudFormation usando o Amazon API Gateway, o Kinesis Data Streams e o AWS Lambda
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Um Amazon API Gateway ingere dados de streaming e processa esses dados com uma função do AWS Lambda.
- Uma REST API do Amazon API Gateway atua como um proxy para Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.
- Armazena registros no Kinesis Data Streams. Uma função do AWS Lambda processa os registros do streaming de dados.
- Erros e registros com falha que ocorrem durante o processamento do AWS Lambda são anotados e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS).
- Uma fila do Amazon Simple Queue Service armazena metadados para registros de lote com falha e erros do Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.
Solução de dados em streaming da AWS para Amazon Kinesis
Versão 1.2.0
Última atualização: 10/2020
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 2
-
Modelo AWS CloudFormation usando Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 2: modelo do AWS CloudFormation usando Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Amazon Kinesis Producer Library (KPL) sugere streaming de dados e processa os dados recebidos usando o Amazon Kinesis Data Analytics. Este modelo fornece uma aplicação de exemplo que publica dados no streaming de dados.
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa KPL para gerar dados.
- O Amazon Kinesis Data Streams armazena os dados de streaming recebidos, e o Kinesis Data Analytics processa os registros recebidos e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).
- Um painel do Amazon CloudWatch monitora a integridade da aplicação, seu progresso, a utilização de recursos, eventos e erros.
Solução de dados em streaming da AWS para Amazon Kinesis
Versão 1.2.0
Última atualização: 10/2020
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 3
-
Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 3: modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Ingere streaming de dados usando Amazon Kinesis Data Streams e processa os dados usando Amazon Kinesis Data Firehose. O Kinesis Data Firehose é um serviço totalmente gerenciado que escala automaticamente de acordo com a taxa de transferência dos seus dados e não exige uma administração contínua.
- Um painel do Amazon CloudWatch monitora a ingestão de dados e a colocação em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.
Solução de dados em streaming da AWS para Amazon Kinesis
Versão 1.2.0
Última atualização: 10/2020
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 4.
-
Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 4: ´modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Este modelo do AWS CloudFormation implanta uma arquitetura de referência similar à Opção 2. Contudo, esse modelo invoca assincronamente um endpoint externo em uma aplicação de streaming.
A aplicação de demonstração incluída neste modelo invoca uma função do AWS Lambda, e a API externa pode ser qualquer integração compatível com o Amazon API Gateway (por exemplo, um endpoint do Amazon SageMaker).
Solução de dados em streaming da AWS para Amazon Kinesis
Versão 1.2.0
Última atualização: 10/2020
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
Recursos
Configurações automatizadas
Flexibilidade
Casos de uso de streaming em tempo real
Independente de dados e lógica

Explore nossa biblioteca de Implementações de soluções da AWS para obter respostas para problemas comuns de arquitetura.

Encontre parceiros de consultoria e tecnologia certificados da AWS para ajudar você a começar.

Explore nosso portfólio de Ofertas de consultoria para obter ajuda aprovada pela AWS com a implantação de soluções.