O que esta Implementação de soluções da AWS faz?
O AWS Streaming Data Solution for Amazon Kinesis fornece modelos do AWS Cloudformation onde os dados fluem por produtores, armazenamento de streaming, consumidores e destinos. Para dar suporte a diversos casos de uso e necessidades de negócios, essa solução oferece quatro modelos do AWS CloudFormation. Semelhante ao AWS Streaming Data Solution for Amazon MSK, os modelos são configurados para aplicar as práticas recomendadas para monitorar a funcionalidade usando painéis e alarmes e para proteger os dados.
Benefícios
Visão geral da implementação de soluções da AWS
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Clique para aumentarFecharModelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 1 – Modelo do AWS CloudFormation usando o Amazon API Gateway, o Kinesis Data Streams e o AWS Lambda
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Uma REST API do Amazon API Gateway atua como um proxy para Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.
- Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.
- Kinesis Data Streams para armazenar os dados de transmissão recebidos.
- Uma função do AWS Lambda processa os registros de transmissão de dados.
- Erros e registros com falha que ocorrem durante o processamento do AWS Lambda são anotados e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS). A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.
AWS Streaming Data Solution for Amazon Kinesis
Versão 1.6.0
Data de lançamento: 11/2021
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 2
-
Modelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Clique para aumentarFecharModelo do AWS CloudFormation usando Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 2: modelo do AWS CloudFormation usando Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
- O Amazon Kinesis Data Streams armazena o fluxo de dados de entrada.
- O Kinesis Data Analytics Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).
- Um painel do Amazon CloudWatch monitora a integridade da aplicação, seu progresso, a utilização de recursos, eventos e erros.
AWS Streaming Data Solution for Amazon Kinesis
Versão 1.6.0
Data de lançamento: 11/2021
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 3
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Clique para aumentarFecharModelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 3: modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- O Amazon Kinesis Data Streams armazena o fluxo de dados de entrada.
- O Amazon Kinesis Data Firehose armazena dados de entrada em buffers antes de entregá-los ao bucket Amazon S3. É um serviço totalmente gerenciado que escala automaticamente de acordo com a taxa de transferência dos seus dados e não exige uma administração contínua.
- Um painel do Amazon CloudWatch monitora a ingestão de dados e a colocação em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.
AWS Streaming Data Solution for Amazon Kinesis
Versão 1.6.0
Data de lançamento: 11/2021
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
- O Amazon Kinesis Data Streams armazena o fluxo de dados de entrada.
-
Opção 4
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Clique para aumentarFecharModelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Solução de dados em streaming da AWS para Amazon Kinesis - Arquitetura da solução
Opção 4 - modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Este modelo AWS CloudFormation implanta uma arquitetura de referência semelhante à Opção 2 e inclui o seguinte:
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
- O Kinesis Data Streams armazena os dados de transmissão recebidos.
- O Kinesis Data Analytics processa os registros de entrada e invoca de forma assíncrona um endpoint externo.
- O aplicativo de demonstração invoca uma função do AWS Lambda .
- A API externa pode ser qualquer integração suportada pelo Amazon API Gateway (por exemplo, um endpoint Amazon SageMaker ).
- Um painel do Amazon CloudWatch monitora a integridade da aplicação, seu progresso, a utilização de recursos, eventos e erros.
AWS Streaming Data Solution for Amazon Kinesis
Versão 1.6.0
Data de lançamento: 11/2021
Autor: AWS
Tempo de implantação estimado: 5-10 min
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
Conteúdo relacionado
Esta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Ela também cobre a integração do Amazon Kinesis Data Analytics (KDA) com o Apache Flink para executar de forma assíncrona serviços ou bancos de dados subjacentes.
Explore nossa biblioteca de Implementações de soluções da AWS para obter respostas para problemas comuns de arquitetura.
Encontre parceiros de consultoria e tecnologia certificados pela AWS para ajudar você a começar.
Explore nosso portfólio de Ofertas de consultoria para obter ajuda aprovada pela AWS com a implantação de soluções.