A solução de dados de transmissão para o Amazon Kinesis fornece modelos do AWS CloudFormation em que os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Para oferecer suporte a diversos casos de uso e necessidades de negócios, essa solução oferece quatro modelos do CloudFormation. Semelhante à solução de dados de transmissão para Amazon MSK, os modelos são configurados para aplicar as práticas recomendadas para monitorar a funcionalidade usando painéis e alarmes e proteger os dados.
Benefícios
Visão geral da solução da AWS
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Clique para aumentarModelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Arquitetura da solução de dados de transmissão para o Amazon Kinesis
Opção 1: Modelo do AWS CloudFormation usando o Amazon API Gateway, o Kinesis Data Streams e o AWS Lambda
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Uma API REST do Amazon API Gateway atua como proxy para o Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.
- Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.
- Kinesis Data Streams para armazenar os dados de transmissão recebidos.
- Uma função do AWS Lambda processa os registros do fluxo de dados.
- Erros e registros com falha que ocorrem durante o processamento do AWS Lambda são anotados, e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS). A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.
Solução de dados de transmissão para o Amazon Kinesis
Custo estimado Código-fonte Opção 1: Modelo do AWS CloudFormation usando o API Gateway, o Kinesis Data Streams e o AWS LambdaVersão 1.7.0
Data de lançamento: 11/2022
Autor: AWSTempo de implantação estimado: 5-10 min
Recursos adicionais
Baixar o guia de implantaçãoUse o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 2
-
Modelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Clique para aumentarModelo do AWS CloudFormation usando Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Arquitetura da solução de dados de transmissão para o Amazon Kinesis
Opção 2: Modelo do AWS CloudFormation usando os serviços Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Este modelo do AWS CloudFormation implanta uma arquitetura de referência que inclui o seguinte:
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
- O Amazon Kinesis Data Streams armazena o fluxo de dados de entrada.
- O Kinesis Data Analytics Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).
- Um painel do Amazon CloudWatch monitora a integridade da aplicação, seu progresso, a utilização de recursos, eventos e erros.
Solução de dados de transmissão para o Amazon Kinesis
Versão 1.7.0
Data de lançamento: 11/2022
Autor: AWSTempo de implantação estimado: 5-10 min
Recursos adicionais
Baixar o guia de implantaçãoUse o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
-
Opção 3
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Clique para aumentarModelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Arquitetura da solução de dados de transmissão para o Amazon Kinesis
Opção 3: Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, o Amazon Kinesis Data Firehose e o Amazon S3
Esta opção implanta uma arquitetura de referência que inclui o seguinte:
- O Amazon Kinesis Data Streams armazena os dados de transmissão recebidos.
- O Amazon Kinesis Data Firehose armazena os dados em buffer antes de entregá-los a um bucket do Amazon S3. É um serviço totalmente gerenciado que escala automaticamente de acordo com a taxa de transferência dos seus dados e não exige uma administração contínua.
- Um painel do Amazon CloudWatch monitora a ingestão de dados e o armazenamento em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.
Solução de dados de transmissão para o Amazon Kinesis
Versão 1.7.0
Data de lançamento: 11/2022
Autor: AWS
Tempo de implantação estimado: 5-10 min
Recursos adicionais
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plug-in RSS habilitado para o navegador que está usando.
- O Amazon Kinesis Data Streams armazena os dados de transmissão recebidos.
-
Opção 4
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Clique para aumentarModelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Arquitetura da solução de dados de transmissão para o Amazon Kinesis
Opção 4: Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, o Amazon Kinesis Data Analytics e o Amazon API Gateway
Esta opção implanta uma arquitetura de referência semelhante à opção 2 e inclui o seguinte:
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) que usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
- O Kinesis Data Streams armazena os dados de transmissão recebidos.
- O Kinesis Data Analytics processa os registros de entrada e invoca de forma assíncrona um endpoint externo.
- A aplicação de demonstração invoca uma função do AWS Lambda.
- A API externa pode ser qualquer integração compatível com o Amazon API Gateway (por exemplo, um endpoint do Amazon SageMaker).
- Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.
Solução de dados de transmissão para o Amazon Kinesis
Versão 1.7.0
Data de lançamento: 11/2022
Autor: AWS
Tempo de implantação estimado: 5-10 min
Recursos adicionais
Use o botão abaixo para assinar atualizações de soluções.Observação: para assinar atualizações RSS, você deve ter um plugin RSS habilitado para o navegador que está usando.
- Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) que usa a Amazon Kinesis Producer Library (KPL) para gerar dados.
Conteúdos relacionados
Esta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Ela também cobre a integração do Amazon Kinesis Data Analytics (KDA) com o Apache Flink para executar de forma assíncrona serviços ou bancos de dados subjacentes.
Explore nossa biblioteca de soluções da AWS para obter respostas para problemas comuns de arquitetura.
Encontre parceiros da AWS para ajudá-lo a começar.
Diagramas de arquitetura prescritivos, código de amostra e conteúdo técnico para casos de uso comuns.