Amazon Kinesis Data Firehose

Prepare e carregue fluxos de dados em tempo real para datastores e serviços de análises

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar de forma confiável dados de streaming em data lakes, datastores e serviços de análises. Ele pode capturar, transformar e entregar dados de streaming para os serviços Amazon S3, Amazon Redshift e Amazon Elasticsearch Service; endpoints HTTP genéricos e provedores de serviços como Datadog, New Relic, MongoDB e Splunk. É um serviço totalmente gerenciado que escala automaticamente de acordo com a taxa de transferência dos seus dados e não exige uma administração contínua. Ele também pode separar em lotes, compactar, transformar e criptografar streams de dados antes de carregá-los, o que minimiza o volume de armazenamento usado e aumenta a segurança.

Você pode criar facilmente um stream de entrega do Firehose no Console de Gerenciamento da AWS, configurá-lo com alguns cliques e começar a consumir dados de streaming de centenas de milhares de fontes de dados para entregá-los a destinos especificados. Você também pode configurar os streams de dados para converter automaticamente os dados de entrada em formatos abertos e baseados em padrões, como Apache Parquet e Apache ORC, antes que os dados sejam entregues.

Com o Amazon Kinesis Data Firehose, não há taxa mínima nem custo de instalação. Você paga pela quantidade de dados transmitida pelo serviço (se for o caso), pela conversão dos formatos de dados e pela entrega e transferência de dados do Amazon VPC.

Solicite suporte para prova de conceito ou avaliação »
O que é o Amazon Kinesis Data Firehose? (1:45)

Benefícios

Fácil de usar

O Amazon Kinesis Data Firehose disponibiliza uma maneira simples de capturar, transformar e carregar dados de streaming com apenas alguns cliques no Console de Gerenciamento da AWS. Você pode criar rapidamente um stream de entrega do Firehose, selecionar os destinos e começar a enviar dados em tempo real de centenas de milhares de fontes de dados simultaneamente. O serviço administra o gerenciamento de streams, incluindo toda a escalabilidade, fragmentação e monitoramento necessários para carregar continuamente os dados nos destinos de acordo com os intervalos que você especificou.

Integrado a serviços da AWS e a provedores de serviços

O Amazon Kinesis Data Firehose é integrado ao Amazon S3, ao Amazon Redshift e ao Amazon Elasticsearch Service. Ele também pode entregar dados a endpoints HTTP genéricos e diretamente a provedores de serviços como Datadog, New Relic, MongoDB e Splunk. No Console de Gerenciamento da AWS, você pode apontar o Kinesis Data Firehose para os destinos que quiser e usar aplicações e ferramentas existentes para analisar dados de streaming.

Transformação de dados sem servidor

O Amazon Kinesis Data Firehose permite preparar os dados de streaming antes de serem carregados para os datastores. Com o Kinesis Data Firehose, você pode converter facilmente dados de streaming brutos de fontes de dados nos formatos exigidos pelos datastores de destino, sem precisar construir seus próprios pipelines de processamento de dados. Saiba mais »

Praticamente em tempo real

O Amazon Kinesis Data Firehose captura e carrega dados praticamente em tempo real. Ele carrega novos dados nos destinos em até 60 segundos após os dados serem enviados para o serviço. Como resultado, você pode acessar novos dados antecipadamente e responder a eventos empresariais e operacionais mais rapidamente.

Sem administração contínua

O Amazon Kinesis Data Firehose é um serviço totalmente gerenciado que provisiona, gerencia e escala automaticamente recursos de computação, memória e rede necessários para processar e carregar dados de streaming. Após a configuração, o Kinesis Data Firehose carrega streams de dados continuamente nos destinos à medida que chegam.

Pague somente pelo que usar

Com o Amazon Kinesis Data Firehose, você paga apenas pelo volume de dados transmitidos pelo serviço e, se for caso, pela conversão do formato de dados. Você também paga pela entrega e pela transferência de dados do Amazon VPC, quando aplicável. Não há taxas mínimas nem compromissos antecipados.

Como funciona

Como funciona o Amazon Kinesis Data Firehose

Casos de uso

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar de forma confiável dados de streaming em data lakes, datastores e ferramentas de análises. Veja a seguir exemplos dos principais casos de uso atendidos pelos nossos clientes usando o Amazon Kinesis Data Firehose.

Análises de IoT

Com o Amazon Kinesis Data Firehose, você pode capturar continuamente dados de dispositivos conectados, como dispositivos de consumidor, sensores integrados e decodificadores de TV. O Kinesis Data Firehose carrega os dados nos destinos especificados, oferecendo acesso a métricas, insights e painéis praticamente em tempo real.

Análise de sequência de cliques

Você pode usar o Amazon Kinesis Data Firehose para consumir dados de sequência de cliques em tempo real, permitindo que profissionais de marketing se conectem aos seus clientes do modo mais eficaz possível. Você pode fazer streaming de bilhões de pequenas mensagens, que são compactadas, criptografadas e entregues ao seus destinos. Em seguida, você pode agregar, filtrar e processar os dados, além de atualizar os painéis de performance de conteúdo praticamente em tempo real.

Análises de logs

Por exemplo, você pode detectar erros de aplicações à medida que ocorrem e identificar a causa raiz coletando, monitorando e analisando dados de log. É possível instalar e configurar facilmente o Amazon Kinesis Agent em servidores para observar automaticamente arquivos de log de aplicações e servidores e enviar os dados para o Kinesis Data Firehose. O Kinesis Data Firehose envia continuamente os dados de log por meio de streaming para os destinos, permitindo sua visualização e análise no Kibana.

Monitoramento de segurança

O Kinesis Data Firehose oferece suporte ao Splunk como destino. Isso significa que você pode capturar e enviar logs de fluxo de tráfego de rede para o Kinesis Data Firehose, que pode transformar e enriquecer os dados e carregá-los no Splunk. Com essa solução, você pode monitorar a segurança de rede em tempo real e alertar quando surge uma possível ameaça.

Estudos de caso

3Victors
A 3Victors consome mais de um bilhão de pesquisas de viagem em todo o mundo e 230 bilhões de itinerários com preço todos os dias, oriundos os maiores sistemas de reservas do mundo.
Leia o estudo de caso 
Hearst
A cada dia, a Hearst faz streaming de mais de 30 terabytes de dados de sequência de cliques de seus sites para análises.
Leia o estudo de caso 
Comcast
A Comcast captura e analisa preferências de clientes para oferecer uma experiência de entretenimento avançada.
Leia o estudo de caso 
Redfin
A Redfin criou um pipeline confiável de consumo de logs que aprimorou os SLAs dos serviços downstream.
Leia o estudo de caso 
Realtor.com
A Realtor.com faz streaming de dados de impressão de anúncios e obtém insights acionáveis para aumentar a performance dos anúncios.
Leia o estudo de caso 
Repp Health
A Repp Health usa os serviços do Amazon Kinesis para consumir, monitorar e carregar dados de streaming de IoT em um data lake do Amazon S3 para análises de localização.
Leia o estudo de caso 

Publicações de blog

Data
  • Data
1

Leia os blogs do Amazon Kinesis Data Firehose.

Comece a usar o Amazon Kinesis Data Firehose

Leia o guia do desenvolvedor
Consulte o guia do desenvolvedor

Saiba mais sobre o Kinesis Data Firehose no guia do desenvolvedor.

Saiba mais 
Cadastre-se para obter uma conta gratuita da AWS
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Iniciar tutorial do Kinesis Data Firehose
Inicie o streaming de seus dados

Obtenha experiência prática com este tutorial.

Iniciar o tutorial 

Saiba mais sobre os recursos do Amazon Kinesis Data Firehose

Acesse a página de recursos
Pronto para começar?
Cadastre-se
Tem outras dúvidas?
Entre em contato conosco