Visão geral
A solução de dados de transmissão para o Amazon Kinesis fornece modelos do AWS CloudFormation em que os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Para oferecer suporte a diversos casos de uso e necessidades de negócios, essa solução oferece quatro modelos do CloudFormation. Semelhante à solução de dados de transmissão para Amazon MSK, os modelos são configurados para aplicar as práticas recomendadas para monitorar a funcionalidade usando painéis e alarmes e proteger os dados.
Os dados de transmissão devem ser capturados de forma duradoura por um armazenamento altamente escalável que seja capaz de lidar com alto volume de dados dos produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando dados em streaming continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes).
Os dados em streaming incluem uma ampla variedade de dados, como arquivos de log gerados por clientes usando aplicativos móveis ou da web, compras de e-commerce, atividade de jogador durante o jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais, como também telemetria de serviços conectados ou instrumentação em datacenters.
Benefícios
Detalhes técnicos
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Opção 1: Modelo do AWS CloudFormation usando o Amazon API Gateway, o Kinesis Data Streams e o AWS Lambda
Etapa 1
Uma API REST do Amazon API Gateway atua como proxy para o Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.Etapa 3
Kinesis Data Streams para armazenar os dados de transmissão recebidos.Etapa 4
Uma função do AWS Lambda processa os registros do fluxo de dados.Etapa 5
Erros e registros com falha que ocorrem durante o processamento do AWS Lambda são anotados, e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS). A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.Opção 1: Modelo do AWS CloudFormation usando o Amazon API Gateway, o Kinesis Data Streams e o AWS Lambda
Etapa 1
Uma API REST do Amazon API Gateway atua como proxy para o Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.Etapa 3
Kinesis Data Streams para armazenar os dados de transmissão recebidos.Etapa 4
Uma função do AWS Lambda processa os registros do fluxo de dados.Etapa 5
Erros e registros com falha que ocorrem durante o processamento do AWS Lambda são anotados, e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS). A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.Conteúdo relacionado
Blog de Arquitetura da AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache FlinkLeia a publicação completa do blogEsta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Também abrange a integração do Amazon Managed Service for Apache Flink para invocar de forma assíncrona serviços ou bancos de dados subjacentes.
TreinamentoIntrodução ao Amazon Kinesis AnalyticsInscreva-se agoraEste é um curso introdutório sobre o Amazon Kinesis Analytics, que ajuda você a consultar dados em streaming ou criar aplicativos de streaming inteiros usando SQL.
TreinamentoData Analytics FundamentalsInscreva-se agoraNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
Sobre esta implantaçãoVersão1.8.1Lançamento10/2023AutorAWSTempo estimado de implantação5 a 10 minutosBaixe o guia de implementação Código-fonte Modelo do CloudFormation Inscreva-se no feed RSSCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 2
-
Modelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Modelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Opção 2: Modelo do AWS CloudFormation usando os serviços Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.Etapa 3
O Amazon Managed Service for Apache Flink Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).Etapa 4
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.
Opção 2: Modelo do AWS CloudFormation usando os serviços Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.Etapa 3
O Amazon Managed Service for Apache Flink Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).Etapa 4
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.
Conteúdo relacionado
Blog de Arquitetura da AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache FlinkLeia a publicação completa do blogEsta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Também abrange a integração do Amazon Managed Service for Apache Flink para invocar de forma assíncrona serviços ou bancos de dados subjacentes.
TreinamentoIntrodução ao Amazon Kinesis AnalyticsInscreva-se agoraEste é um curso introdutório sobre o Amazon Kinesis Analytics, que ajuda você a consultar dados em streaming ou criar aplicativos de streaming inteiros usando SQL.
TreinamentoData Analytics FundamentalsInscreva-se agoraNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
Sobre esta implantaçãoVersão1.8.1Lançamento10/2023AutorAWSTempo estimado de implantação5 a 10 minutosBaixe o guia de implementação Código-fonte Modelo do CloudFormation Inscreva-se no feed RSSCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 3
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Opção 3: Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, o Amazon Kinesis Data Firehose e o Amazon S3
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Producer Library (KPL) para gerar dados.Etapa 2
O Amazon Kinesis Data Firehose armazena os dados em buffer antes de entregá-los a um bucket do Amazon S3. É um serviço totalmente gerenciado que escala automaticamente para acompanhar o throughput dos dados e não exige uma administração contínua.Etapa 3
Um painel do Amazon CloudWatch monitora a ingestão de dados e o armazenamento em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.Opção 3: Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, o Amazon Kinesis Data Firehose e o Amazon S3
Etapa 1
O Amazon Kinesis Data Streams armazena os dados de transmissão recebidos.Etapa 2
O Amazon Kinesis Data Firehose armazena os dados em buffer antes de entregá-los a um bucket do Amazon S3. É um serviço totalmente gerenciado que escala automaticamente para acompanhar o throughput dos dados e não exige uma administração contínua.Etapa 3
Um painel do Amazon CloudWatch monitora a ingestão de dados e o armazenamento em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.Conteúdo relacionado
Blog de Arquitetura da AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache FlinkLeia a publicação completa do blogEsta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Também abrange a integração do Amazon Managed Service for Apache Flink para invocar de forma assíncrona serviços ou bancos de dados subjacentes.
TreinamentoIntrodução ao Amazon Kinesis AnalyticsInscreva-se agoraEste é um curso introdutório sobre o Amazon Kinesis Analytics, que ajuda você a consultar dados em streaming ou criar aplicativos de streaming inteiros usando SQL.
TreinamentoData Analytics FundamentalsInscreva-se agoraNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
Sobre esta implantaçãoVersão1.8.1Lançamento10/2023AutorAWSTempo estimado de implantação5 a 10 minutosBaixe o guia de implementação Código-fonte Modelo do CloudFormation Inscreva-se no feed RSSCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 4
-
Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Opção 4: Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) que usa a Amazon Kinesis Producer Library (KPL) para gerar dados.Etapa 3
O Managed Service for Apache Flink processa os registros recebidos e invoca de forma assíncrona um endpoint externo.Etapa 4
A aplicação de demonstração invoca uma função do AWS Lambda.Etapa 5
A API externa pode ser qualquer integração compatível com o Amazon API Gateway (por exemplo, um endpoint do Amazon SageMaker).Etapa 6
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Opção 4: Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) que usa a Amazon Kinesis Producer Library (KPL) para gerar dados.Etapa 3
O Managed Service for Apache Flink processa os registros recebidos e invoca de forma assíncrona um endpoint externo.Etapa 4
A aplicação de demonstração invoca uma função do AWS Lambda.Etapa 5
A API externa pode ser qualquer integração compatível com o Amazon API Gateway (por exemplo, um endpoint do Amazon SageMaker).Etapa 6
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Blog de Arquitetura da AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache FlinkLeia a publicação completa do blogEsta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Também abrange a integração do Amazon Managed Service for Apache Flink para invocar de forma assíncrona serviços ou bancos de dados subjacentes.
TreinamentoIntrodução ao Amazon Kinesis AnalyticsInscreva-se agoraEste é um curso introdutório sobre o Amazon Kinesis Analytics, que ajuda você a consultar dados em streaming ou criar aplicativos de streaming inteiros usando SQL.
TreinamentoData Analytics FundamentalsInscreva-se agoraNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
Sobre esta implantaçãoVersão1.8.1Lançamento10/2023AutorAWSTempo estimado de implantação5 a 10 minutosBaixe o guia de implementação Código-fonte Modelo do CloudFormation Inscreva-se no feed RSSCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS