O Amazon Kinesis Firehose é o modo mais fácil de carregar dados de streaming na AWS. O Amazon Kinesis Firehose é um serviço totalmente gerenciado que facilita a captura, a transformação e o carregamento de volumes enormes de dados de streaming de centenas de milhares de origens no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service e no Amazon Kinesis Analytics, possibilitando análises e insights em tempo quase real.

Comece a usar a AWS gratuitamente

Crie uma conta gratuita

Receba doze meses de acesso ao nível de uso gratuito da AWS e aproveite os recursos do AWS Basic Support, como atendimento ao cliente 24x7x365 e fóruns de suporte, entre outros recursos. No momento, o Amazon Kinesis Firehose não está disponível no nível gratuito da AWS.


Você pode executar o Amazon Kinesis Firehose e criar um stream de entrega para carregar dados no Amazon S3, Amazon Redshift ou Amazon Elasticsearch, com apenas alguns cliques no Console de Gerenciamento da AWS. Você pode enviar dados para o stream ao chamar a API do Firehose ou ao executar o agente do Linux que nós disponibilizamos na origem de dados. O Amazon Kinesis Firehose, então, carrega continuamente os dados no Amazon S3, Amazon Redshift e Amazon Elasticsearch Service.

Você pode especificar um tamanho ou intervalo de lote para controlar com que velocidade os dados serão carregados aos seus destinos. Por exemplo, você pode definir o intervalo de lote para 60 segundos, caso você deseje receber dados novos até 60 segundos depois de enviá-los ao seu stream de distribuição. Adicionalmente, você pode especificar se os dados devem ser compactados. O serviço é compatível com algoritmos de compactação comuns que incluem GZip e Snappy. A divisão em lotes e a compactação de dados antes do carregamento permitem que você controle a velocidade com que você recebe novos dados em seus destinos.

Depois de entrar em execução, seus streams de distribuição expandem ou reduzem automaticamente para administrar gigabytes por segundo ou mais taxas de dados recebidos, além de manter a latência de dados nos níveis que você especificar para o stream. Não é necessário intervenção nem manutenção.

Você pode configurar o Amazon Kinesis Firehose para preparar os dados de streaming antes de serem carregados para os datastores. Basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Firehose no Console de gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente essa função a cada registro de dados de entrada e carregará os dados transformados para os destinos. O Amazon Kinesis Firehose oferece blueprints Lambda pré-compilados para converter fontes de dados comuns, como logs do Apache e logs do sistema, nos formatos JSON e CSV. Você pode usar esses planos pré-compilados sem alteração, personalizá-los mais ou escrever suas próprias funções personalizadas. Você também pode configurar o Amazon Kinesis Firehose para repetir automaticamente os trabalhos com falha e fazer backup dos dados de streaming brutos. Saiba mais »

No momento, o Amazon Kinesis Firehose é compatível com o Amazon S3, o Amazon Redshift e o Amazon Elasticsearch Service como destinos. Você pode especificar o bucket do Amazon S3, a tabela do Amazon Redshift ou o domínio do Amazon Elasticsearch de destino em que os dados serão carregados.

O Amazon Kinesis Firehose disponibiliza a opção de criptografar seus dados automaticamente após eles terem sido carregados no destino. Como parte da configuração de stream de distribuição, você pode especificar uma chave de criptografia do AWS Key Management System (KMS).

O Amazon Kinesis Firehose expõe várias métricas por meio do console, como também pelo Amazon CloudWatch, inclusive o volume de dados enviados, o volume de dados carregados no destino, tempo levado da origem até o destino e a taxa de sucesso de upload. Você pode usar essas métricas para monitorar a integridade dos seus streams de distribuição, tomar as medidas necessárias, como a modificação de destinos, e garantir que o serviço esteja consumindo dados e os carregando nos destinos.

Com o Amazon Kinesis Firehose, você paga somente pelo volume de dados que você transmitir usando o serviço. Não há taxas mínimas nem compromissos iniciais. Você não precisa de uma equipe para operar, escalar e manter aplicações personalizadas ou de infraestrutura para capturar e carregar dados de streaming.