A melhor maneira de começar a usar o Amazon Elasticsearch Service é consultar o Guia de conceitos básicos, que está incluído em nossa documentação técnica. Em alguns minutos, você será capaz de implantar e usar um domínio do Amazon Elasticsearch Service. Para obter experiência prática com o Amazon Elasticsearch Service, crie uma solução de análise de logs seguindo este guia detalhado.

Comece a usar a AWS gratuitamente

Crie uma conta gratuita
Ou faça login no Console

O nível gratuito da AWS inclui 750 horas de uma instância t2.micro.elasticsearch ou t2.small.easticsearch e 10 GB de armazenamento opcional do Amazon EBS (magnético ou de propósito geral) ao mês


Consulte os detalhes do nível gratuito da AWS »

 


A Expedia usa o Amazon Elasticsearch Service (Amazon ES) para diversos casos de uso de missão crítica, de agregação de logs a monitoramento de aplicativos e otimização da definição de preço. Nesta sessão, a equipe da Expedia detalha como usou o Amazon ES e o Kibana para analisar e visualizar logs de inicialização do Docker e métricas de dados e aplicativos do AWS CloudTrail. A equipe compartilha as melhores práticas para definir a arquitetura de uma solução de análise de logs segura e escalável usando o Amazon ES. Você pode adicionar novas fontes de dados praticamente sem esforço algum e obter insights imediatamente. 

Assista à gravação da sessão | Faça download da apresentação

Nesta sessão, usamos os logs web do Apache como exemplo e mostramos como criar uma solução de análise completa. Primeiro, discutimos a configuração de um cluster do Amazon ES e o consumo de dados usando o Amazon Kinesis Firehose. Examinamos as melhores práticas para escolher tipos de instância, opções de armazenamento, número de estilhaços e rotações de índice de acordo com o throughput dos dados recebidos. Em seguida, demonstramos como configurar um painel do Kibana e criar widgets de painel personalizados. Por fim, examinamos as abordagens para a geração de relações ad-hoc personalizados.

Assista à gravação da sessão | Faça download da apresentação

A MirrorWeb oferece serviços automatizados de arquivamento de sites e mídia social com recursos de pesquisa de texto completos para todo o conteúdo. O governo do Reino Unido contratou a MirrorWeb para fornecer serviços de pesquisa em 20 anos de dados arquivados de mais de 4.800 sites. Nesta sessão, a MirrorWeb discute a pilha de tecnologia criada usando o Amazon Elasticsearch Service (Amazon ES) para pesquisar em mais de 333 milhões de documentos únicos (mais de 120 TB), indexados em um período de 10 horas. A empresa discute como moveu os dados das instalações locais para o Amazon S3 usando o AWS Snowball e como processou esses dados usando instâncias spot do Amazon EC2, obtendo uma redução de custos de 90%. Além disso, a MirrorWeb explica como usou o AWS Lambda para consumir dados para o Amazon ES. Por fim, a empresa compartilha as melhores práticas para criar uma arquitetura de pesquisa de documentos em grande escala.

Assista à gravação da sessão | Faça download da apresentação

Os aplicativos geram logs. A infraestrutura gera logs. Até humanos geram logs (embora o termo preferido para isso seja “dados médicos”). O consumo e a análise de logs permitem compreender como sistemas complexos operam e descobrir e diagnosticar rapidamente quando não funcionam como esperado. Neste workshop, consumimos e analisamos streams de log usando o Amazon Kinesis Firehose e o Amazon Elasticsearch Service. Você deve compreender os conceitos básicos da AWS (Amazon EC2, Amazon S3 e security groups). Além disso, você precisa de um laptop com navegador Chrome ou Firefox.

Faça download da apresentação »


A análise de logs é um caso comum de uso de big data que permite analisar dados de logs de sites, dispositivos móveis, servidores e sensores, entre outros, para uma grande variedade de aplicativos como marketing digital, monitoramento de aplicativos, detecção de fraudes, tecnologia de anúncios, jogos e IoT, entre outras. Neste Tech Talk, descreveremos detalhadamente o processo de criar uma solução de análises completa que consome, transforma e carrega dados de streaming usando os serviços Amazon Kinesis Firehose, Amazon Kinesis Analytics e AWS Lambda. Os dados processados serão salvos em um cluster do Amazon Elasticsearch Service e usaremos o Kibana para visualizar os dados praticamente em tempo real.

Objetivos do aprendizado:

  1. Arquitetura de referência para criar uma solução completa de análise de logs
  2. Visão geral dos serviços usados e de como funcionam em conjunto
  3. Melhores práticas para implementação de análise de logs

Assista à gravação | Faça download da apresentação

Os data lakes podem consistir em quantidades massivas de dados não estruturados, o que dificulta a pesquisa e a exploração desses dados. Você pode usar o Amazon Elasticsearch Service para indexar e pesquisar facilmente os metadados e o conteúdo de documentos em data lakes. Neste Tech Talk, você aprenderá a usar o Amazon Elasticsearch Service para criar um repositório de metadados para um data lake e indexar o conteúdo dos documentos para localizar facilmente arquivos com base no texto que contêm.

Objetivos do aprendizado:

  • Compreender os recursos de pesquisa e visualização do Amazon Elasticsearch Service
  • Aprender a configurar o Amazon Kinesis Firehose para ingerir, transformar e carregar metadados de documentos no Amazon Elasticsearch Service
  • Aprender as melhores práticas para criar um repositório de metadados para data lakes usando o Amazon Elasticsearch Service

Assista à gravação | Faça download da apresentação

O Amazon Elasticsearch Service (Amazon ES) facilita a configuração e a operação de clusters do Elasticsearch na AWS. A Amazon Virtual Private Cloud (Amazon VPC) permite iniciar recursos da AWS em uma rede virtual segura definida por você. Agora, o Amazon ES oferece suporte a endpoints VPC para que você possa criar uma conexão privada entre uma VPC e domínios do Amazon ES. Neste webinar, falaremos como configurar um domínio do Amazon ES e enviar dados de log de uma VPC para esse domínio. Discutiremos segurança, escala e controle de acesso para o Amazon ES com VPC.

Objetivos do aprendizado:

  • Entenda como funciona a segurança do Amazon ES
  • Saiba como usar endpoints da Amazon VPC com o Amazon ES
  • Conheça as melhores práticas de segurança e controle de acesso para domínios do Amazon ES

Assista à gravação | Faça download da apresentação