Amazon Kinesis Data Firehose

Prepare e carregue fluxos de dados em tempo real para datastores e ferramentas de análises

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar de forma confiável dados de streaming em datastores e ferramentas de análises. O serviço pode capturar, transformar e carregar dados de streaming no Amazon S3, Amazon Redshift, Amazon Elasticsearch Service e Splunk, possibilitando análises praticamente em tempo real com as ferramentas e painéis de inteligência de negócios que você já usa hoje. É um serviço totalmente gerenciado que escala automaticamente para atender à produtividade dos seus dados e não exige uma administração contínua. Ele pode separar em lotes, compactar, transformar e criptografar os dados antes de carregá-los, o que minimiza o volume de armazenamento usado no destino e aumenta a segurança.

Você pode criar facilmente um fluxo de entrega do Firehose por meio do Console de Gerenciamento da AWS, configurá-lo com alguns cliques e começar a enviar dados para o fluxo de centenas de milhares de fontes de dados carregadas continuamente na AWS. Tudo isso em apenas alguns minutos. Você também pode configurar seu fluxo de entrega para converter automaticamente os dados de entrada em formatos colunares, como Apache Parquet e Apache ORC, antes que os dados sejam entregues ao Amazon S3, para a obtenção de armazenamento e análise econômicos.

Com o Kinesis Data Firehose, você paga apenas pela quantidade de dados transmitidos pelo serviço e, se aplicável, pela conversão do formato de dados. Não há taxa mínima ou custo de configuração.

Vídeo: What is Amazon Kinesis Data Firehose?

Benefícios

Fácil de usar

O Amazon Kinesis Data Firehose disponibiliza uma maneira simples de capturar, transformar e carregar dados de streaming com apenas alguns cliques no Console de Gerenciamento da AWS. Basta criar um fluxo de entrega do Firehose, selecionar os destinos e você poderá começar a enviar dados em tempo real de centenas de milhares de fontes de dados simultaneamente. O serviço administra o gerenciamento de fluxo, inclusive todo o monitoramento, escalabilidade e fragmentação necessários para o carregamento contínuo de dados para destinos nos intervalos que você especificou.

Integrado aos datastores da AWS

O Amazon Kinesis Data Firehose é integrado ao Amazon S3, Amazon Redshift e Amazon Elasticsearch Service. No Console de Gerenciamento da AWS, você pode direcionar o Kinesis Data Firehose para um bucket do Amazon S3, uma tabela do Amazon Redshift ou um domínio do Amazon Elasticsearch. Desse modo, você poderá usar aplicativos e ferramentas analíticas atuais para analisar os dados de streaming.

Transformação de dados sem servidor

O Amazon Kinesis Data Firehose permite preparar os dados de streaming antes de serem carregados para os datastores. Com o Kinesis Data Firehose, você pode converter facilmente dados de streaming brutos de suas fontes de dados nos formatos exigidos pelos seus datastores de destino, sem precisar construir seus próprios canais de processamento de dados. Saiba mais »

Praticamente em tempo real

O Amazon Kinesis Data Firehose captura e carrega dados praticamente em tempo real. Ele carrega novos dados no Amazon S3, Amazon Redshift, Amazon Elasticsearch Service e Splunk em até 60 segundos após os dados serem enviados para o serviço. Como resultado, você pode acessar novos dados antecipadamente e responder a eventos empresariais e operacionais mais rapidamente.

Sem administração contínua

O Amazon Kinesis Data Firehose é um serviço totalmente gerenciado que provisiona automaticamente, gerencia e escala recursos de computação, memória e rede necessários para carregar seus dados de streaming. Uma vez configurado, o Kinesis Data Firehose carrega dados continuamente, conforme eles forem surgindo.

Pague somente pelo que usar

Com o Amazon Kinesis Data Firehose, você paga apenas pelo volume de dados transmitidos pelo serviço e, se aplicável, pela conversão do formato de dados. Não há taxas mínimas nem compromissos antecipados.

Como ele funciona

product-page-diagram_Amazon-Kinesis-Data-Firehose

Casos de uso

Análises de IoT

Com o Amazon Kinesis Data Firehose, você pode capturar continuamente dados de dispositivos conectados, como dispositivos de consumidor, sensores integrados e decodificadores de TV. O Kinesis Data Firehose carrega os dados no Amazon S3 e no Amazon Redshift, o que permite oferecer aos clientes acesso a métricas, insights e painéis praticamente em tempo real.


Análises de clickstream

Você pode usar o Amazon Kinesis Data Firehose para permitir a distribuição de métricas de conteúdo digital em tempo real, permitindo que autores e profissionais de marketing se conectem aos seus clientes do modo mais eficaz possível. Você pode fazer streaming de bilhões de pequenas mensagens compactadas, criptografadas e entregues ao Amazon Elasticsearch Service e ao Amazon Redshift. Em seguida, você pode agregar, filtrar e processar os dados, além de atualizar os painéis de performance de conteúdo praticamente em tempo real. Por exemplo, a Hearst Corporation criou uma plataforma de análise de clickstream usando o Kinesis Data Firehose para transmitir e processar diariamente 30 terabytes de dados de mais de 300 sites em todo o mundo. Com essa plataforma, a Hearst pode disponibilizar aos editores, em questão de minutos, o fluxo de dados completo, de cliques no site a métricas agregadas. Leia o estudo de caso »


Análise de log

Os dados de logs de aplicativos e servidores executados na nuvem e no local podem ajudar a monitorar aplicativos e agilizar a resolução de problemas. Por exemplo, você pode detectar erros de aplicativos à medida que ocorrem e identificar a causa raiz coletando, monitorando e analisando dados de log. É possível instalar e configurar facilmente o Amazon Kinesis Agent em servidores para observar automaticamente arquivos de log de aplicativos e servidores e enviar os dados para o Kinesis Data Firehose. O Kinesis Data Firehose envia continuamente os dados de log por meio de streaming para o Amazon Elasticsearch Service. Esses dados podem ser visualizados e analisados com o Kibana. 


Monitoramento de segurança

O Kinesis Data Firehose oferece suporte ao Splunk como destino. Isso significa que você pode capturar e enviar logs de fluxo de tráfego de rede para o Kinesis Data Firehose, que pode transformar e enriquecer os dados e carregá-los no Splunk. Com essa solução, você pode monitorar a segurança de rede em tempo real e alertar quando surge uma possível ameaça.

Publicações do blog

Comece a usar o Amazon Kinesis Data Firehose

icon1

Cadastre-se para obter uma conta da AWS

Obtenha acesso instantâneo ao nível gratuito da AWS.
icon2

Consulte o guia do desenvolvedor

Saiba mais sobre o Kinesis Data Firehose no guia do desenvolvedor.
icon3

Inicie o streaming de seus dados

Obtenha experiência prática com este tutorial.

Saiba mais sobre os recursos do Amazon Kinesis Data Firehose

Acesse a página de recursos
Pronto para começar?
Cadastrar-se
Mais dúvidas?
Entre em contato conosco