Comece a usar o Amazon Kinesis Data Streams

Os produtores de dados podem inserir dados nos fluxos de dados do Amazon Kinesis usando as APIs do Amazon Kinesis Data Streams, a biblioteca de produtor do Amazon Kinesis (KPL) ou o Amazon Kinesis Agent.

Insira dados de amostra em um fluxo de dados do Kinesis ou em um Kinesis Data Firehose usando o Amazon Kinesis Data Generator.

O Amazon Kinesis Data Streams disponibiliza duas APIs para a inserção de dados em um stream de dados do Amazon Kinesis: PutRecord e PutRecords. PutRecord permite um único registro de dados em uma chamada de API e PutRecords permite vários registros de dados em uma chamada de API.

O Amazon Kinesis Producer Library (KPL) é uma biblioteca fácil de usar e altamente configurável que fornece suporte na inserção de dados em um fluxo de dados do Amazon Kinesis. A Amazon Kinesis Producer Library (KPL) apresenta uma interface simples, assíncrona e confiável que permite alcançar rapidamente um alto throughput de produtor com um mínimo de recursos de clientes.

O Amazon Kinesis Agent é uma aplicação Java predefinida que oferece uma maneira fácil de coletar e enviar dados para um stream do Amazon Kinesis. Você pode instalar o agente em ambientes de servidor baseados em Linux, como servidores web, servidores de log e servidores de banco de dados. O agente monitora determinados arquivos e envia continuamente dados para o stream.

Execute aplicativos gerenciados de processamento de streams usando serviços da AWS ou crie os seus próprios aplicativos.

O Amazon Kinesis Data Firehose é a maneira mais fácil de transformar e carregar de forma confiável dados de streaming em datastores e ferramentas de analytics. Você pode usar um fluxo de dados do Kinesis como origem para um Kinesis Data Firehose.

Com o Amazon Managed Service for Apache Flink, você pode consultar facilmente dados de streaming ou criar aplicações de streaming usando o Apache Flink para obter insights práticos e responder prontamente às necessidades de sua empresa e de seus clientes. Você pode usar um fluxo de dados do Kinesis como origem e destino para uma aplicação do Amazon Managed Service for Apache Flink.

Você pode assinar funções do Lambda para ler automaticamente registros de um stream de dados do Kinesis. Normalmente, o AWS Lambda é usado para processamento de streams registro a registro (também conhecido como processamento baseado em eventos).

A biblioteca de cliente do Amazon Kinesis (KCL) é uma biblioteca predefinida que ajuda a criar facilmente aplicações do Amazon Kinesis para leitura e processamento de dados de um fluxo de dados do Amazon Kinesis. A KCL trata problemas complexos, como a adaptação a mudanças no volume do stream, load balancing de dados de streaming, coordenação de serviços distribuídos e processamento de dados com tolerância a falhas. A KCL permite que você se concentre na lógica de negócios durante a criação de aplicativos do Amazon Kinesis. A partir da KCL 2.0, você pode utilizar uma API de streaming HTTP/2 de baixa latência e a distribuição aprimorada para recuperar dados de um stream.

A biblioteca do Amazon Kinesis Connector é uma biblioteca predefinida que ajuda a integrar facilmente o Amazon Kinesis com outros serviços da AWS e ferramentas de terceiros. A biblioteca de cliente do Amazon Kinesis (KCL) é necessária para usar a biblioteca do Amazon Kinesis Connector. A versão atual da biblioteca oferece conectores para o Amazon DynamoDB, o Amazon Redshift, o Amazon S3 e o Amazon Elasticsearch Service. A biblioteca também inclui exemplos de conectores de cada tipo, além de arquivos de criação do Apache Ant para executar os exemplos.

O Amazon Kinesis Storm Spout é uma biblioteca pré-definida que ajuda a integrar facilmente o Amazon Kinesis Data Streams ao Apache Storm. A versão atual da Amazon Kinesis Storm Spout extrai dados de um stream de dados do Kinesis e os emite como tuplas. Você adicionará o Spout à sua topologia do Storm para se beneficiar do Amazon Kinesis Data Streams como um serviço confiável e escalável de extração, armazenamento e nova execução de streams.

Você pode acessar de modo privado as APIs do Kinesis Data Streams de uma Amazon Virtual Private Cloud (VPC) criando VPC endpoints. Com os VPC endpoints, o roteamento entre a VPC e o Kinesis Data Streams é processado pela rede da AWS, sem necessidade de um Internet Gateway, um gateway NAT ou uma conexão VPN. A geração mais recente de VPC endpoints usados pelo Kinesis Data Streams é baseada no AWS PrivateLink, uma tecnologia que habilita a conectividade privada entre os serviços da AWS usando interfaces de rede elástica (ENIs) com IPs privados nas VPCs. Para obter mais informações, consulte a documentação do AWS PrivateLink.

A distribuição aprimorada permite que os clientes escalem a quantidade de consumidores que leem um stream de dados em paralelo sem afetar a performance. Você pode usar a distribuição aprimorada e uma API HTTP/2 de recuperação de dados para distribuir dados a vários aplicativos, com um intervalo após a chegada que habitualmente é de 70 milissegundos.

Você pode criptografar os dados inseridos no Kinesis Data Streams usando criptografia do lado do servidor ou do lado do cliente. A criptografia do lado do servidor é um recurso gerenciado que criptografa e descriptografa automaticamente dados inseridos e extraídos de um fluxo de dados. Como alternativa, é possível criptografar dados do lado do cliente antes de inseri-los no fluxo de dados. Para saber mais, consulte a seção Security (Segurança) das perguntas frequentes sobre o Kinesis Data Streams.

Use um fluxo de dados como origem do Kinesis Data Firehose para transformar dinamicamente os dados durante a entrega para o S3, o Redshift, o Elasticsearch e o Splunk. Associe uma aplicação do Amazon Managed Service for Apache Flink para processar dados de streaming em tempo real com SQL padrão, sem necessidade de aprender novas linguagens de programação ou estruturas de processamento.

O Amazon Kinesis Data Streams se integra ao Amazon CloudWatch, possibilitando a coleta, a visualização e análise de métricas do CloudWatch de maneira fácil para uso nos fluxos de dados do Amazon Kinesis e nos fragmentos encontrados dentro desses fluxos de dados. Para obter mais informações sobre as métricas do Amazon Kinesis Data Streams, consulte Monitoring Amazon Kinesis with Amazon CloudWatch (Monitoramento do serviço do Amazon Kinesis Data Streams com o Amazon CloudWatch).

O Amazon Kinesis Data Streams se integra ao AWS Identity and Access Management (IAM), um serviço que possibilita o controle de forma segura do acesso de seus usuários aos serviços e recursos da AWS. Por exemplo, você pode criar uma política que permite que apenas um usuário ou um grupo específico insira dados em um stream de dados do Amazon Kinesis. Para obter mais informações sobre o gerenciamento e o controle de acesso a um fluxo de dados do Amazon Kinesis, consulte Controlling Access to Amazon Kinesis Resources using IAM (Controle do acesso aos recursos do Amazon Kinesis Data Streams usando o IAM).

O Amazon Kinesis Data Streams se integra ao AWS CloudTrail, um serviço que registra as chamadas de APIs da AWS para uma conta e entrega arquivos de log. Para obter mais informações sobre o log de chamadas de APIs e uma lista das APIs compatíveis do Amazon Kinesis, consulte Logging Amazon Kinesis API calls Using AWS CloudTrail (Registro em log de chamadas da API do Amazon Kinesis Data Streams com o AWS CloudTrail).

Você pode marcar streams de dados do Amazon Kinesis com tags para facilitar o gerenciamento de recursos e custos. Uma tag é um rótulo definido pelo usuário, especificado como um par chave-valor, que ajuda a organizar recursos da AWS. Por exemplo, você pode marcar streams de dados do Amazon Kinesis com tags por centro de custo, permitindo a categorização e o rastreamento dos custos do Amazon Kinesis Data Streams com base em centros de custo. Para obter mais informações sobre o assunto, consulte Tagging Your Amazon Kinesis Data Streams (Marcação de streams no Amazon Kinesis Data Streams).

Este tutorial apresenta as etapas para criar um stream de dados do Amazon Kinesis, enviar dados simulados de negociação de ações para o stream e criar um aplicativo para processar os dados do stream de dados.  

• Introdução
• Pré-requisitos
• Etapa 1: criar um stream
• Etapa 2: criar a política e o usuário do IAM
• Etapa 3: fazer o download do código de implementação e compilá-lo
• Etapa 4: implementar o produtor
• Etapa 5: implementar o consumidor
• Etapa 6: (opcional) estender o consumidor
• Etapa 7: finalizar

O Amazon Kinesis facilita a coleta, o processamento e a análise de dados de streaming em tempo real, permitindo que você obtenha insights oportunos e reaja rapidamente às novas informações. Nesta sessão, apresentamos uma solução completa de dados de streaming usando o Kinesis Streams para consumo de dados, o Kinesis Analytics para processamento em tempo real e o Kinesis Firehose para persistência. Analisamos detalhadamente como escrever consultas SQL usando dados de streaming e discutimos as melhores práticas para otimizar e monitorar aplicativos do Kinesis Analytics. Por fim, discutimos como estimar o custo de todo o sistema.

Assista à gravação da sessão | Baixe a apresentação

Você quer aumentar o seu conhecimento de web services de big data da AWS e lançar o seu primeiro aplicativo de big data na nuvem? Mostramos a você como simplificar o processamento de big data como um barramento de dados que abrange consumo, armazenamento, processamento e visualização. Você cria um aplicativo de big data usando serviços gerenciados da AWS como Amazon Athena, Amazon Kinesis, Amazon DynamoDB e Amazon S3, entre outros. Durante o workshop, analisaremos padrões de projeto de arquitetura para aplicativos de big data e ofereceremos acesso a um laboratório que você poderá executar fora do workshop para recriar e personalizar o aplicativo. Você deve trazer o seu próprio laptop e ter alguma familiaridade com os Serviços da AWS para aproveitar essa sessão ao máximo.

Faça download da apresentação

Nos últimos anos, o número de fontes de dados em tempo real e dispositivos conectados cresceu de forma explosiva. O resultado é uma produção contínua de dados, e a taxa de produção está acelerando. As empresas não podem mais esperar horas ou dias para usar esses dados. Para obter os insights mais valiosos, elas devem usar imediatamente esses dados para pode reagir rapidamente com base nas novas informações. Neste workshop, você aprenderá aproveitar as fontes de streaming de dados para analisar e reagir praticamente em tempo real. Você receberá diversos requisitos de um cenário de dados de streaming do mundo real e terá de criar uma solução que atenda a esses requisitos usando serviços como Amazon Kinesis, AWS Lambda e Amazon SNS.

Faça download da apresentação

A redução do tempo de obtenção de insights acionáveis dos dados é importante para todas as empresas. Os clientes que usam ferramentas de análise de dados em lotes estão explorando os benefícios das análises de streaming. Aprenda as melhores práticas para ampliar uma arquitetura de data warehouses e bancos de dados para soluções em tempo real. Saiba como usar o Amazon Kinesis para obter insights de dados em tempo real e integrá-los aos serviços Amazon Aurora, Amazon RDS, Amazon Redshift e Amazon S3. A equipe do Amazon Flex descreve como usou as análises de streaming em um aplicativo móvel do Amazon Flex usado por motoristas de entrega da Amazon para entregar todos os meses milhões de pacotes dentro do prazo esperado. A equipe discute a arquitetura que possibilitou a mudança de um sistema de processamento de lotes para um sistema em tempo real, superando os desafios da migração de dados em lotes atuais para dados de streaming. Além disso, mostra como obter benefícios com as análises em tempo real.

Assista à gravação da sessão | Baixe a apresentação

Para conquistar o mercado e oferecer experiências de cliente diferenciadas, as empresas precisam usar dados ao vivo em tempo real para facilitar a agilidade na tomada de decisões. Nesta sessão, você aprenderá casos de uso e arquiteturas comuns para processamento de dados de streaming. Primeiro, oferecemos uma visão geral dos dados de streaming e dos recursos de dados de streaming da AWS. Em seguida, examinamos alguns exemplos de clientes e seus aplicativos de streaming em tempo real. Por fim, descrevemos as arquiteturas e os padrões de projeto comuns dos principais casos de uso de dados de streaming.

Assista à gravação da sessão | Baixe a apresentação