Recursos do Amazon Kinesis Data Firehose

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar dados de transmissão em armazenamentos de dados e ferramentas de análise. O Kinesis Data Firehose é um serviço totalmente gerenciado que facilita capturar, transformar e carregar volumes enormes de dados de transmissão de centenas de milhares de fontes para destinos como Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Kinesis Data Analytics, endpoints HTTP genéricos e provedores de serviços, como Datadog, New Relic, MongoDB e Splunk, viabilizando análises e insights praticamente em tempo real.

Um fluxo de entrega é a entidade subjacente do Kinesis Data Firehose. Você usa o Kinesis Data Firehose criando um fluxo de entrega e enviando dados para ele.

É possível executar o Amazon Kinesis Data Firehose e criar um fluxo de entrega para carregar dados no Amazon S3, Amazon Redshift, Amazon OpenSearch Service, endpoints HTTP, Datadog, New Relic, MongoDB ou Splunk com apenas alguns cliques no Console de Gerenciamento da AWS. Você pode enviar dados para o fluxo de entrega chamando a API do Firehose ou executando o agente do Linux que disponibilizamos na fonte de dados. O Kinesis Data Firehose carrega continuamente os dados nos destinos especificados.

Você pode especificar um tamanho ou intervalo de lote para controlar com que velocidade os dados serão carregados para os seus destinos. Por exemplo, você pode definir o intervalo de lote para 60 segundos, caso você deseje receber dados novos até 60 segundos depois de enviá-los ao seu stream de distribuição. Adicionalmente, você pode especificar se os dados devem ser compactados. O serviço é compatível com algoritmos de compactação comuns que incluem GZip, Snappy compatível com Hadoop, Zip e Snappy. A divisão em lotes e a compactação de dados antes do carregamento permitem que você controle a velocidade com que você recebe novos dados em seus destinos.

Depois de entrar em execução, seus streams de distribuição expandem ou reduzem automaticamente para administrar taxas de dados recebidos da ordem de gigabytes por segundo ou mais, além de manter a latência de dados nos níveis que você especificar para o stream, sem os limites. Não é necessário fazer intervenção nem manutenção.

O Kinesis Data Firehose é compatível com os formatos de dados colunares, como Apache Parquet e Apache ORC, são otimizados para armazenamento e análises econômicos usando serviços como Amazon Athena, Amazon Redshift Spectrum, Amazon EMR e outras ferramentas baseadas no Hadoop. O Kinesis Data Firehose pode converter o formato dos dados recebidos de JSON para Parquet ou ORC antes de armazená-los no Amazon S3, o que permite reduzir os custos de armazenamento e análises.

Particione dinamicamente dados de transmissão antes de entregá-los ao S3 usando chaves bem definidas estática ou dinamicamente como “customer_id” ou “transaction_id”. O Kinesis Data Firehose agrupa os dados por essas chaves e entrega em prefixos exclusivos de chave do S3, facilitando a realização de análises econômicas de alta performance no S3 usando Athena, EMR e Redshift Spectrum. Saiba mais »

Você pode configurar o Amazon Kinesis Data Firehose para preparar os dados de streaming antes de serem carregados para os datastores. Basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Data Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Data Firehose aplicará automaticamente essa função a cada registro de dados de entrada e carregará os dados transformados para os destinos. O Amazon Kinesis Data Firehose oferece esquemas do Lambda pré-compilados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você pode usar esses esquemas pré-compilados sem alteração, personalizá-los mais ou escrever suas próprias funções personalizadas. Você também poderá configurar o Amazon Kinesis Data Firehose para repetir automaticamente os trabalhos com falha e fazer backup dos dados brutos de streaming. Saiba mais »

No momento, o Amazon Kinesis Data Firehose oferece suporte ao Amazon S3, Amazon Redshift, Amazon OpenSearch Service, endpoints HTTP, Datadog, New Relic, MongoDB e Splunk como destinos. Você pode especificar o bucket do Amazon S3 de destino, a tabela do Amazon Redshift, o domínio do Amazon OpenSearch Service, os endpoints HTTP genéricos ou um provedor de serviços no qual os dados devem ser carregados.

O Amazon Kinesis Data Firehose disponibiliza a opção de criptografar seus dados automaticamente após eles terem sido carregados no destino. Como parte da configuração de stream de distribuição, você pode especificar uma chave de criptografia do AWS Key Management System (KMS).

O Amazon Kinesis Data Firehose expõe várias métricas por meio do console, como também pelo Amazon CloudWatch, inclusive o volume de dados enviados, o volume de dados carregados no destino, o tempo de transferência da origem até o destino, os limites do fluxo de entrega, o número de registros restritos e a taxa de sucesso de upload. Você pode usar essas métricas para monitorar a integridade dos seus streams de distribuição, tomar as medidas necessárias, como a modificação de destinos, definição de alarmes de aproximação aos limites, e garantir que o serviço esteja consumindo dados e os carregando nos destinos.

Com o Amazon Kinesis Data Firehose, você paga apenas pelo volume de dados transmitidos pelo serviço e, se aplicável, pela conversão do formato de dados. Você também paga pela entrega e pela transferência de dados do Amazon VPC, quando aplicável. Não há taxas mínimas nem compromissos antecipados. Você não precisa de uma equipe para operar, escalar e manter aplicações personalizadas ou de infraestrutura para capturar e carregar dados de streaming.