Consumo de dados usando o Amazon Kinesis Data Firehose

Com o Amazon Kinesis Firehose, você pode converter facilmente dados brutos de streaming de suas fontes de dados nos formatos exigidos pelo índice do Elasticsearch e carregá-los no Amazon Elasticsearch Service, sem precisar criar seus próprios pipelines de processamento de dados.

Para usar esse recurso, basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente a função do AWS Lambda para cada registro de dados de entrada e carregará os dados transformados no índice do Amazon Elasticsearch.

O Amazon Kinesis Firehose oferece esquemas pré-compilados do Lambda que podem ser usados sem qualquer alteração ou personalizados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você também poderá configurar o Amazon Kinesis Firehose para repetir automaticamente as tarefas com falha e fazer backup dos dados brutos de streaming. Saiba mais »

 

Consumo de dados usando o Logstash

O Amazon Elasticsearch Service aceita a integração com o Logstash, uma ferramenta de processamento de dados de código aberto que coleta dados de fontes, transformando-os e, depois, carregando-os no Elasticsearch. Você poderá facilmente implantar o Logstash no Amazon EC2 e configurar o domínio do Amazon Elasticsearch com o armazenamento de back-end para todos os logs oriundos da implantação do Logstash. O Logstash aceita uma biblioteca de filtros pré-compilados para executar facilmente transformações comuns, como a análise de dados de log não estruturados nos dados estruturados por meio de correspondência de padrões, renomeação, remoção, substituição e modificação de campos nos seus registros de dados, além de métricas de agregação. Saiba mais »

Consumo de dados usando o Amazon CloudWatch Logs

O Amazon CloudWatch Logs permite que você monitore e solucione problemas em seus sistemas e aplicativos usando os arquivos de logs personalizados, de aplicativos e de sistemas atuais. É possível configurar um grupo de logs do CloudWatch Logs para fazer o streaming de dados para o domínio do Amazon Elasticsearch Service praticamente em tempo real por meio de uma inscrição no CloudWatch Logs. Esta integração será indicada se você já estiver usando o CloudWatch Logs para coletar dados de log e desejar compartilhá-los com seus usuários do Amazon Elasticsearch Service. Saiba mais »

Consumo de dados usando o AWS IoT

O AWS IoT é uma plataforma gerenciada de nuvem que permite a interação fácil e segura de dispositivos com aplicativos de nuvem e outros dispositivos. Com o AWS IoT, você pode capturar dados de dispositivos conectados, como dispositivos do consumidor, sensores integrados e decodificadores de TV. Usando o Console de Gerenciamento da AWS, você pode configurar o AWS IoT para carregar os dados diretamente para o Amazon Elasticsearch Service e fornecer aos clientes acesso praticamente em tempo real a dados e métricas do IoT. Saiba mais »

Como escolher o mecanismo certo de consumo de dados

A escolha do mecanismo certo de consumo de dados depende dos requisitos do seu caso de uso, como a latência e o tipo de dados. Para grandes volumes de dados, recomendamos usar o Amazon Kinesis Firehose, que é gerenciado, tem ajuste automático de escala para corresponder ao throughput de dados e não exige nenhuma administração contínua. Ele também pode transformar, compactar e separar em lotes os dados antes de carregá-los no domínio do Amazon Elasticsearch Service. Geralmente, a escolha também se resume aos serviços que você já está usando. Por exemplo, se você já estiver coletando logs de aplicativos usando o Amazon CloudWatch Logs, poderá apenas carregar os dados no domínio do Amazon Elasticsearch Service sem muitos esforços adicionais.

Próximas etapas

Saiba mais sobre a definição de preço do Amazon Elasticsearch Service

Acesse a página de definição de preço