Visão geral

A solução de dados de transmissão para o Amazon MSK fornece modelos do AWS CloudFormation onde os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Para oferecer suporte a diversos casos de uso e necessidades de negócios, essa solução oferece quatro modelos do AWS CloudFormation. Semelhante à solução de dados de transmissão para o Amazon Kinesis, os modelos são configurados para aplicar práticas recomendadas a fim de proteger dados e monitorar funcionalidades usando painéis e alarmes.
Os dados de transmissão devem ser capturados de forma duradoura por um armazenamento altamente escalável que seja capaz de lidar com alto volume de dados dos produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando dados em streaming continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes).
Os dados em streaming incluem uma ampla variedade de dados, como arquivos de log gerados por clientes usando aplicativos móveis ou da web, compras de e-commerce, atividade de jogador durante o jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais, como também telemetria de serviços conectados ou instrumentação em datacenters.
Benefícios

Detalhes técnicos

-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Opção 1: Modelo do AWS CloudFormation usando o Amazon MSK
Etapa 1
O modelo do AWS CloudFormation implanta um cluster do Amazon MSK.
Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.Conteúdo relacionado
Blog de arquitetura da AWSAmazon MSK Backup for Archival, Replay, or AnalyticsEsta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.
TreinamentoData Analytics FundamentalsNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
TreinamentoAmazon MSK LabsEste site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.
Sobre esta implantaçãoVersão1.7.6Lançamento05/2023AutorAWSTempo estimado de implantação25 a 30 minutosCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 2
-
Opção 2: Modelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda
Etapa 1
Este modelo do AWS CloudFormation implanta uma função do Lambda que processa registros em um tópico do Apache Kafka. A função padrão é uma aplicação Node.js que registra as mensagens recebidas, mas pode ser personalizada para atender as necessidades da sua empresa.Conteúdo relacionado
Blog de arquitetura da AWSAmazon MSK Backup for Archival, Replay, or AnalyticsEsta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.
TreinamentoData Analytics FundamentalsNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
TreinamentoAmazon MSK LabsEste site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.
Sobre esta implantaçãoVersão1.7.6Lançamento05/2023AutorAWSTempo estimado de implantação25 a 30 minutosCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 3
-
Opção 3: Modelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose
Etapa 1
Uma função do AWS Lambda que processa registros em um tópico do Apache Kafka.Etapa 2
Um fluxo de entrega do Amazon Kinesis Data Firehose que armazena dados em buffer antes de enviá-los ao destino.Etapa 3
Um bucket do Amazon Simple Storage Service (Amazon S3) que armazena todos os eventos originais do cluster do Amazon MSK.Conteúdo relacionado
Blog de arquitetura da AWSAmazon MSK Backup for Archival, Replay, or AnalyticsEsta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.
TreinamentoData Analytics FundamentalsNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
TreinamentoAmazon MSK LabsEste site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.
Sobre esta implantaçãoVersão1.7.6Lançamento05/2023AutorAWSTempo estimado de implantação25 a 30 minutosCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 4
-
Opção 4: Modelo do AWS CloudFormation usando o Amazon MSK, o Amazon Kinesis Data Analytics e o Amazon S3
Etapa 1
Um notebook do Kinesis Data Analytics Studio que lê eventos de um tópico existente em um cluster do Amazon MSK.Etapa 2
Um bucket do Amazon Simple Storage Service (Amazon S3) que armazena a saída.Conteúdo relacionado
Blog de arquitetura da AWSAmazon MSK Backup for Archival, Replay, or AnalyticsEsta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.
TreinamentoData Analytics FundamentalsNeste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.
TreinamentoAmazon MSK LabsEste site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.
Sobre esta implantaçãoVersão1.7.6Lançamento05/2023AutorAWSTempo estimado de implantação25 a 30 minutosCusto estimadoOpções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS