O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar dados de streaming em datastores e ferramentas de análises. O Kinesis Data Firehose é um serviço totalmente gerenciado que facilita a captura, a transformação e o carregamento de volumes enormes de dados de streaming de centenas de milhares de origens no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service, no Kinesis Data Analytics e no Splunk, possibilitando análises e insights praticamente em tempo real.

Comece a usar a AWS gratuitamente

Crie uma conta gratuita

Receba doze meses de acesso ao nível de uso gratuito da AWS e aproveite os recursos do AWS Basic Support, como atendimento ao cliente 24x7x365 e fóruns de suporte, entre outros recursos. No momento, o Amazon Kinesis Data Firehose não está disponível no nível gratuito da AWS.


Você pode executar o Amazon Kinesis Data Firehose e criar um stream de entrega para carregar dados no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch ou no Splunk com apenas alguns cliques no Console de Gerenciamento da AWS. Você pode enviar dados para o stream de entrega chamando a API do Firehose ou executando o agente do Linux que disponibilizamos na fonte de dados. O Kinesis Data Firehose, então, carrega continuamente os dados no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service e no Splunk.

Você pode especificar um tamanho ou intervalo de lote para controlar com que velocidade os dados serão carregados aos seus destinos. Por exemplo, você pode definir o intervalo de lote para 60 segundos, caso você deseje receber dados novos até 60 segundos depois de enviá-los ao seu stream de distribuição. Adicionalmente, você pode especificar se os dados devem ser compactados. O serviço é compatível com algoritmos de compactação comuns que incluem GZip e Snappy. A divisão em lotes e a compactação de dados antes do carregamento permitem que você controle a velocidade com que você recebe novos dados em seus destinos.

Depois de entrar em execução, seus streams de distribuição expandem ou reduzem automaticamente para administrar gigabytes por segundo ou mais taxas de dados recebidos, além de manter a latência de dados nos níveis que você especificar para o stream. Não é necessário intervenção nem manutenção.

Você pode configurar o Amazon Kinesis Data Firehose para preparar os dados de streaming antes de serem carregados para os datastores. Basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Data Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Data Firehose aplicará automaticamente essa função a cada registro de dados de entrada e carregará os dados transformados para os destinos. O Amazon Kinesis Data Firehose oferece esquemas do Lambda pré-compilados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você pode usar esses esquemas pré-compilados sem alteração, personalizá-los mais ou escrever suas próprias funções personalizadas. Você também poderá configurar o Amazon Kinesis Data Firehose para repetir automaticamente os trabalhos com falha e fazer backup dos dados brutos de streaming. Saiba mais »

No momento, o Amazon Kinesis Data Firehose é compatível com o Amazon S3, o Amazon Redshift, o Amazon Elasticsearch Service e o Splunk como destinos. Você pode especificar o bucket do Amazon S3, a tabela do Amazon Redshift, o domínio do Amazon Elasticsearch ou o cluster do Splunk de destino em que os dados serão carregados.

O Amazon Kinesis Data Firehose disponibiliza a opção de criptografar seus dados automaticamente após eles terem sido carregados no destino. Como parte da configuração de stream de distribuição, você pode especificar uma chave de criptografia do AWS Key Management System (KMS).

O Amazon Kinesis Data Firehose expõe várias métricas por meio do console, como também pelo Amazon CloudWatch, inclusive o volume de dados enviados, o volume de dados carregados no destino, tempo levado da origem até o destino e a taxa de sucesso de upload. Você pode usar essas métricas para monitorar a integridade dos seus streams de distribuição, tomar as medidas necessárias, como a modificação de destinos, e garantir que o serviço esteja consumindo dados e os carregando nos destinos.

Com o Amazon Kinesis Data Firehose, você paga somente pelo volume de dados que transmitido pelo serviço. Não há taxas mínimas nem compromissos iniciais. Você não precisa de uma equipe para operar, escalar e manter aplicações personalizadas ou de infraestrutura para capturar e carregar dados de streaming.