Nuvem da AWS
Comece a usar dados de streaming

O Apache Kafka é um sistema de código aberto com envio distribuído de mensagens que permite que você crie aplicativos em tempo real usando dados de streaming. Você pode enviar dados de streaming, como sequências de cliques de sites, transações financeiras e logs de aplicativo, para o cluster do Kafka. Ele reserva os dados e os distribui para aplicativos de processamento de streams incorporados às estruturas, como Apache Spark Streaming, Apache Storm ou Apache Samza.

diagram-kafka

A execução da sua implantação do Kafka no Amazon EC2 disponibiliza uma solução escalável e de alto desempenho para o consumo de dados de streaming. Para implantar o Kafka no Amazon EC2, é necessário selecionar e provisionar os tipos de instância do EC2, instalar e configurar os componentes de software, como o Kafka e o Apache Zookeeper, e provisionar o armazenamento em blocos exigido para acomodar sua taxa de transferência de dados de streaming usando o Amazon Elastic Block Store (EBS). Para ajudar o cluster do Kafka a gerenciar eventos inesperados, como picos de volumes de dados acima da capacidade do stream, você pode criar a replicação usando o Apache Zookeeper, que monitora os nós no cluster do Kafka e coordena a distribuição dos processos nos nós. Assim que o Kafka for instalado, será necessário implantar o HTTPS, manter as autoridades de certificação e configurar as instâncias do Kafka para SSL para garantir a segurança do seu cluster do Kafka.

A execução dos clusters do Kafka no Amazon EC2 disponibiliza uma plataforma de infraestrutura confiável e escalável, no entanto, ela exige que você monitore, escale e gerencie uma frota de servidores, mantenha a pilha de software e gerencie a segurança do cluster, que pode representar uma grande sobrecarga administrativa. O Amazon Kinesis Streams resolve esse problema ao disponibilizar um serviço gerenciado e personalizado para facilitar o trabalho com dados de streaming na AWS. Ele captura e armazena os dados de streaming de modo confiável e disponibiliza os dados em tempo real para aplicativos de processamento de streams. Bastam alguns cliques no Console do Amazon Kinesis para provisionar um sistema de consumo de dados de streaming gerenciado com o Amazon Kinesis Streams. O Amazon Kinesis Streams replica automaticamente seus dados nas três zonas de disponibilidade, proporcionando durabilidade aos seus dados. Você pode escalar, proteger e gerenciar facilmente seus streams usando a API e a integração nativa com outros serviços da AWS, como o AWS IAM, o Amazon CloudWatch e o AWS CloudTrail.

É possível processar os dados nos seus streams com aplicativos de processamento incorporados no Amazon Kinesis Analytics ou em outras estruturas de processamento, como o Spark Streaming e o Kinesis Client Library (KCL). Você pode usar os dados processados para alimentar painéis em tempo real, gerar alertas, implementar a definição de preço dinâmica, disponibilizar anúncios altamente direcionados, e muito mais.

Para saber mais sobre a comparação entre o Amazon Kinesis e o Kafka, clique aqui.

440x220_APN-Blog

Esta publicação demonstra como configurar o Apache Kafka no EC2, usar Spark Streaming no EMR para processar os dados que chegam aos tópicos do Apache Kafka e consultar dados de streaming usando o Spark SQL no EMR.

Leia a publicação completa no blog »

Nesta publicação, nós usamos streams públicos do Twitter para analisar o desempenho dos candidatos, tanto republicanos quanto democratas, praticamente em tempo real. Nós mostramos como integrar o Amazon Kinesis Firehose, o AWS Lambda (função Python) e o Amazon Elasticsearch Service para criar uma plataforma de descoberta de ponta a ponta, praticamente em tempo real.

Leia a publicação no blog completa »

Esta publicação no blog dá detalhes sobre uma maneira simples e eficaz de persistir dados no Amazon S3 por meio do Amazon Kinesis Streams usando o AWS Lambda e o Amazon Kinesis Firehose.

Leia a publicação completa aqui »

Para ler mais publicações no blog sobre dados de streaming e big data, acesse o Blog de big data da AWS »


É fácil começar com o Amazon Kinesis. Basta fazer login no Console de Gerenciamento da AWS e executar o Amazon Kinesis.

 

Comece a usar o Amazon Kinesis