Solução de dados de transmissão para o Amazon MSK

Um serviço de transmissão de dados em tempo real massivamente escalável e duradouro que permite capturar dados continuamente para processamento
Visualizar guia de implementação

Visão geral

A solução de dados de transmissão para o Amazon MSK fornece modelos do AWS CloudFormation onde os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Para oferecer suporte a diversos casos de uso e necessidades de negócios, essa solução oferece quatro modelos do AWS CloudFormation. Semelhante à solução de dados de transmissão para o Amazon Kinesis, os modelos são configurados para aplicar práticas recomendadas a fim de proteger dados e monitorar funcionalidades usando painéis e alarmes.

Os dados de transmissão devem ser capturados de forma duradoura por um armazenamento altamente escalável que seja capaz de lidar com alto volume de dados dos produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando dados em streaming continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes).

Os dados em streaming incluem uma ampla variedade de dados, como arquivos de log gerados por clientes usando aplicativos móveis ou da web, compras de e-commerce, atividade de jogador durante o jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais, como também telemetria de serviços conectados ou instrumentação em datacenters.

Casos de uso dessa solução da AWS
Data warehouse

Benefícios

Configuração automatizada
Configure automaticamente os serviços da AWS necessários para capturar, armazenar, processar e entregar dados em streaming com facilidade.
Quatro opções de modelo
Escolha entre as quatro diferentes opções de modelo do AWS CloudFormation. Teste novas combinações de serviço para seu ambiente de produção e melhore os aplicativos existentes.
Casos de uso em tempo real
Capture logs de aplicativos de alto volume, analise dados de clickstream, forneça continuamente para um data lake e muito mais.
Código-fonte personalizável
Personalize o código padrão da solução e use as funcionalidades de monitoramento para fazer uma transição rápida do teste para a produção.

Detalhes técnicos

Os diagramas abaixo apresentam os quatro modelos do AWS CloudFormation que você pode implantar automaticamente usando o guia de implementação da solução.
  • Opção 1
  • Modelo do AWS CloudFormation usando o Amazon Managed Streaming for Apache Kafka (Amazon MSK)
    Opção 1: Modelo do AWS CloudFormation usando o Amazon MSK

    Conteúdo relacionado

    Blog de arquitetura da AWS
    Amazon MSK Backup for Archival, Replay, or Analytics

    Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.

    Leia o blog 
    Treinamento
    Data Analytics Fundamentals

    Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.

    Inscreva-se agora 
    Treinamento
    Amazon MSK Labs

    Este site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.

    Inscreva-se agora 
    Sobre esta implantação
    Versão
    1.7.6
    Lançamento
    05/2023
    Autor
    AWS
    Tempo estimado de implantação
    25 a 30 minutos
    Custo estimado
    Ver detalhes
    Visualizar guia de implementação
    Baixe o guia de implementação  Código-fonte  Modelo do CloudFormation  Inscreva-se no feed RSS 
    Opções de implantação
    Pronto para começar?
    Implante esta solução a partir do seu Console da AWS
    Executar no Console da AWS
    Essa solução da AWS ajudou você?
    Sim
    Não
    Fornecer feedback
  • Opção 2
  • Modelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda
    Opção 2: Modelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda

    Conteúdo relacionado

    Blog de arquitetura da AWS
    Amazon MSK Backup for Archival, Replay, or Analytics

    Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.

    Leia o blog 
    Treinamento
    Data Analytics Fundamentals

    Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.

    Inscreva-se agora 
    Treinamento
    Amazon MSK Labs

    Este site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.

    Inscreva-se agora 
    Sobre esta implantação
    Versão
    1.7.6
    Lançamento
    05/2023
    Autor
    AWS
    Tempo estimado de implantação
    25 a 30 minutos
    Custo estimado
    Ver detalhes
    Visualizar guia de implementação
    Baixe o guia de implementação  Código-fonte  Modelo do CloudFormation  Inscreva-se no feed RSS 
    Opções de implantação
    Pronto para começar?
    Implante esta solução a partir do seu Console da AWS
    Executar no Console da AWS
    Essa solução da AWS ajudou você?
    Sim
    Não
    Fornecer feedback
  • Opção 3
  • Modelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose
    Opção 3: Modelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose

    Conteúdo relacionado

    Blog de arquitetura da AWS
    Amazon MSK Backup for Archival, Replay, or Analytics

    Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.

    Leia o blog 
    Treinamento
    Data Analytics Fundamentals

    Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.

    Inscreva-se agora 
    Treinamento
    Amazon MSK Labs

    Este site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.

    Inscreva-se agora 
    Sobre esta implantação
    Versão
    1.7.6
    Lançamento
    05/2023
    Autor
    AWS
    Tempo estimado de implantação
    25 a 30 minutos
    Custo estimado
    Ver detalhes
    Visualizar guia de implementação
    Baixe o guia de implementação  Código-fonte  Modelo do CloudFormation  Inscreva-se no feed RSS 
    Opções de implantação
    Pronto para começar?
    Implante esta solução a partir do seu Console da AWS
    Executar no Console da AWS
    Essa solução da AWS ajudou você?
    Sim
    Não
    Fornecer feedback
  • Opção 4
  • Modelo do AWS CloudFormation usando o Amazon MSK, o Amazon Kinesis Data Analytics e o Amazon S3
    Opção 4: Modelo do AWS CloudFormation usando o Amazon MSK, o Amazon Kinesis Data Analytics e o Amazon S3

    Conteúdo relacionado

    Blog de arquitetura da AWS
    Amazon MSK Backup for Archival, Replay, or Analytics

    Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.

    Leia o blog 
    Treinamento
    Data Analytics Fundamentals

    Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.

    Inscreva-se agora 
    Treinamento
    Amazon MSK Labs

    Este site hospeda informações e laboratórios práticos relacionados ao Amazon MSK. Esses laboratórios podem ser executados em contas da AWS pessoais ou corporativas ou em contas provisionadas por equipes de Contas da AWS para eventos que usam o Mecanismo de eventos.

    Inscreva-se agora 
    Sobre esta implantação
    Versão
    1.7.6
    Lançamento
    05/2023
    Autor
    AWS
    Tempo estimado de implantação
    25 a 30 minutos
    Custo estimado
    Ver detalhes
    Visualizar guia de implementação
    Baixe o guia de implementação  Código-fonte  Modelo do CloudFormation  Inscreva-se no feed RSS 
    Opções de implantação
    Pronto para começar?
    Implante esta solução a partir do seu Console da AWS
    Executar no Console da AWS
    Essa solução da AWS ajudou você?
    Sim
    Não
    Fornecer feedback