O Amazon Elasticsearch Service é um serviço gerenciado que disponibiliza as APIs fáceis de usar e em tempo real do Elasticsearch, além da disponibilidade, da escalabilidade e da segurança exigidas pelas cargas de trabalho de produção. O Amazon Elasticsearch Service é ideal para análise de logs, monitoramento de aplicações, pesquisa interativa e outros casos de uso de análise. No entanto, coletar, converter, mapear e carregar dados de fontes de dados para o índice do Elasticsearch pode ser um processo lento e difícil. Será necessário converter os dados brutos em um formato estruturado de dados, como JSON ou CSV, limpar os dados e mapeá-los para campos de dados de destino. Também será necessário separar em lotes e armazenar em buffer os dados para que o carregamento seja eficiente e os dados sejam disponibilizados imediatamente para consulta sem sobrecarregar os recursos de computação e redes do cluster. Para realizar facilmente tudo isso, você poderá usar as integrações incorporadas do Amazon Elasticsearch Service com o Amazon Kinesis Firehose, o Logstash, o Amazon CloudWatch Logs, ou o AWS IoT, dependendo dos requisitos específicos do seu caso de uso.


Você pode configurar o Amazon Kinesis Firehose para preparar os dados de streaming antes de serem carregados no Amazon Elasticsearch Service. Com este recurso, você poderá converter facilmente dados brutos de streaming de suas fontes de dados nos formatos exigidos pelo índice do Elasticsearch, sem precisar criar seus próprios pipelines de processamento de dados.

Para usá-lo, basta selecionar uma função do AWS Lambda na guia de configuração do stream de entrega do Amazon Kinesis Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente a função do AWS Lambda para cada registro de dados de entrada e carregará os dados transformados no índice do Amazon Elasticsearch.

O Amazon Kinesis Firehose oferece blueprints do Lambda pré-compilados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você poderá usar esses planos pré-compilados sem alteração, personalizá-los mais ou gravar suas próprias funções personalizadas. Você também poderá configurar o Amazon Kinesis Firehose para repetir automaticamente os trabalhos com falha e fazer backup dos dados brutos de streaming. Saiba mais »


O Amazon Elasticsearch Service aceita a integração com o Logstash, uma ferramenta de processamento de dados de código aberto que coleta dados de fontes, transformando-os e, depois, carregando-os no Elasticsearch. Você poderá facilmente implantar o Logstash no Amazon EC2 e configurar o domínio do Amazon Elasticsearch com o armazenamento de back-end para todos os logs oriundos da implementação do Logstash. O Logstash aceita uma biblioteca de filtros pré-compilados para executar facilmente transformações comuns, como a análise de dados de log não estruturados nos dados estruturados por meio de correspondência de padrões, renomeação, remoção, substituição e modificação de campos nos seus registros de dados, além de métricas de agregação. Saiba mais »


O Amazon CloudWatch Logs permite que você monitore e solucione problemas em seus sistemas e aplicações usando arquivos atuais de sistema, aplicações e log personalizado. É possível configurar um grupo de logs do CloudWatch Logs para fazer o streaming de dados para o domínio do Amazon Elasticsearch Service praticamente em tempo real por meio de uma inscrição no CloudWatch Logs. Esta integração será indicada se você já estiver usando o CloudWatch Logs para coletar dados de log e desejar compartilhá-los com seus usuários do Amazon Elasticsearch Service. Saiba mais »


O AWS IoT é uma plataforma gerenciada de nuvem que permite a interação fácil e segura de dispositivos com aplicações de nuvem e outros dispositivos. Com o AWS IoT, você poderá capturar dados de dispositivos conectados, como dispositivos do consumidor, sensores embutidos e decodificadores de TV, e configurar o AWS IoT por meio do Console de Gerenciamento da AWS para carregar os dados diretamente no Amazon Elasticsearch Service. Isso permite que você disponibilize aos seus clientes acesso praticamente em tempo real aos dados e às métricas do IoT. Saiba mais »

A escolha do mecanismo certo de consumo de dados depende dos requisitos do seu caso de uso específico, como a latência e o tipo de dados. Para grandes volumes de dados, recomendamos o Amazon Kinesis Firehose, que é gerenciado, tem ajuste automático de escala para corresponder ao throughput de dados e não exige nenhuma administração contínua. Ele também pode transformar, compactar e separar em lotes os dados antes de carregá-los no domínio do Amazon Elasticsearch Service. Geralmente, a escolha também se resume aos serviços que você já está usando. Por exemplo, se você já estiver coletando logs de aplicações usando o Amazon CloudWatch Logs, poderá apenas carregar os dados no domínio do Amazon Elasticsearch Service sem muitos esforços adicionais.

Comece com o nosso nível gratuito, que disponibiliza o uso sem taxas de até 750 horas ao mês de uma instância t2.micro.elasticsearch ou t2.small.easticsearch Single-AZ e 10 GB ao mês de armazenamento opcional do Amazon EBS.

Comece a usar gratuitamente