O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar dados de streaming em datastores e ferramentas de análises. O Kinesis Data Firehose é um serviço totalmente gerenciado que facilita a captura, a transformação e o carregamento de volumes enormes de dados de streaming de centenas de milhares de origens no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service, no Kinesis Data Analytics e no Splunk, possibilitando análises e insights praticamente em tempo real.

Fluxos de entrega de dados do Kinesis

Um fluxo de entrega do Kinesis é a entidade subjacente do Kinesis Data Firehose. Você usa o Kinesis Data Firehose criando um fluxo de entrega do Kinesis e enviando dados para ele.

Principais recursos

Facilidade de execução e configuração

Você pode executar o Amazon Kinesis Data Firehose e criar um stream de entrega para carregar dados no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch ou no Splunk com apenas alguns cliques no Console de Gerenciamento da AWS. Você pode enviar dados para o stream de entrega chamando a API do Firehose ou executando o agente do Linux que disponibilizamos na fonte de dados. O Kinesis Data Firehose, então, carrega continuamente os dados no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service e no Splunk.

Carregue novos dados praticamente em tempo real

Você pode especificar um tamanho ou intervalo de lote para controlar com que velocidade os dados serão carregados aos seus destinos. Por exemplo, você pode definir o intervalo de lote para 60 segundos, caso você deseje receber dados novos até 60 segundos depois de enviá-los ao seu stream de distribuição. Adicionalmente, você pode especificar se os dados devem ser compactados. O serviço é compatível com algoritmos de compactação comuns que incluem GZip e Snappy. A divisão em lotes e a compactação de dados antes do carregamento permitem que você controle a velocidade com que você recebe novos dados em seus destinos.

Escalabilidade flexível para administrar a produtividade de dados variáveis

Depois de entrar em execução, seus streams de distribuição expandem ou reduzem automaticamente para administrar gigabytes por segundo ou mais taxas de dados recebidos, além de manter a latência de dados nos níveis que você especificar para o stream. Não é necessário intervenção nem manutenção.

Suporte incorporado à conversão de formato de dados

Os formatos de dados colunares, como Apache Parquet e Apache ORC, são otimizados para armazenamento e análises econômicos usando serviços como Amazon Athena, Amazon Redshift Spectrum, Amazon EMR e outras ferramentas baseadas no Hadoop. O Amazon Kinesis Data Firehose pode converter o formato dos dados recebidos de JSON para Parquet ou ORC antes de armazená-los no Amazon S3, o que permite reduzir os custos de armazenamento e análises. Saiba mais »

Transformações de dados integradas

Você pode configurar o Amazon Kinesis Data Firehose para preparar os dados de streaming antes de serem carregados para os datastores. Basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Data Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Data Firehose aplicará automaticamente essa função a cada registro de dados de entrada e carregará os dados transformados para os destinos. O Amazon Kinesis Data Firehose oferece esquemas do Lambda pré-compilados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você pode usar esses esquemas pré-compilados sem alteração, personalizá-los mais ou escrever suas próprias funções personalizadas. Você também poderá configurar o Amazon Kinesis Data Firehose para repetir automaticamente os trabalhos com falha e fazer backup dos dados brutos de streaming. Saiba mais »

Suporte a vários destinos de dados

No momento, o Amazon Kinesis Data Firehose é compatível com o Amazon S3, o Amazon Redshift, o Amazon Elasticsearch Service e o Splunk como destinos. Você pode especificar o bucket do Amazon S3, a tabela do Amazon Redshift, o domínio do Amazon Elasticsearch ou o cluster do Splunk de destino em que os dados serão carregados.

Criptografia automática opcional

O Amazon Kinesis Data Firehose disponibiliza a opção de criptografar seus dados automaticamente após eles terem sido carregados no destino. Como parte da configuração de stream de distribuição, você pode especificar uma chave de criptografia do AWS Key Management System (KMS).

Métricas para o monitoramento de desempenho

O Amazon Kinesis Data Firehose expõe várias métricas por meio do console, como também pelo Amazon CloudWatch, inclusive o volume de dados enviados, o volume de dados carregados no destino, tempo levado da origem até o destino e a taxa de sucesso de upload. Você pode usar essas métricas para monitorar a integridade dos seus streams de distribuição, tomar as medidas necessárias, como a modificação de destinos, e garantir que o serviço esteja consumindo dados e os carregando nos destinos.

Definição de preço com pagamento conforme o uso

Com o Amazon Kinesis Data Firehose, você paga somente pelo volume de dados que transmitido pelo serviço. Não há taxas mínimas nem compromissos iniciais. Você não precisa de uma equipe para operar, escalar e manter aplicações personalizadas ou de infraestrutura para capturar e carregar dados de streaming.

Saiba mais sobre a definição de preço do Amazon Kinesis Data Firehose

Acesse a página de definição de preço
Pronto para começar?
Cadastrar-se
Mais dúvidas?
Entre em contato conosco