O que é a pilha ELK?

A pilha ELK é um acrônimo usado para descrever uma pilha composta por três projetos populares: Elasticsearch, Logstash e Kibana. Muitas vezes chamada de Elasticsearch, a pilha ELK oferece a capacidade de agregar logs de todos os seus sistemas e aplicações, analisar esses logs e criar visualizações para monitoramento de aplicações e infraestruturas, solução de problemas mais rápida, análises de segurança e muito mais.

E = Elasticsearch

O Elasticsearch é um mecanismo distribuído de pesquisa e análise desenvolvido com base no Apache Lucene. O suporte para várias linguagens e documentos JSON sem esquema e de alta performance tornam o Elasticsearch a escolha ideal para vários casos de uso de pesquisas e análises de log.

Para obter mais informações, consulte O que é o Elasticsearch?

Em 21 de janeiro de 2021, a Elastic NV anunciou que mudaria sua estratégia de licenciamento de software e não lançaria novas versões do Elasticsearch e do Kibana sob a licença permissiva Apache License, Version 2.0 (ALv2). Em vez disso, novas versões do software serão oferecidas sob a licença Elastic, com o código-fonte disponível sob a licença Elastic ou a SSPL. Essas licenças não são de código aberto e não oferecem as mesmas liberdades aos usuários. Para ter um conjunto de análise e pesquisa seguro, de alta qualidade e código aberto, você pode usar o projeto OpenSearch, uma ramificação do Elasticsearch e do Kibana de código aberto, licenciada sob a ALv2 e orientada pela comunidade.

L = Logstash

O Logstash é uma ferramenta de ingestão de dados de código aberto que permite coletar dados de várias fontes, transformá-los e enviá-los ao destino desejado. Com filtros pré-construídos e suporte para mais de 200 plugins, o Logstash permite que os usuários ingiram dados facilmente, independentemente da fonte ou do tipo de dados.

O Logstash é um pipeline de processamento de dados leve, de código aberto e no lado do servidor que permite coletar dados de várias fontes, transformá-los dinamicamente e enviá-los ao destino desejado. Ele é usado com mais frequência como um pipeline de dados para o Elasticsearch, um mecanismo de pesquisa e análise de código aberto. Devido à sua estreita integração com o Elasticsearch, poderosos recursos de processamento de logs e mais de 200 plugins de código aberto pré-construídos que podem ajudar você a indexar seus dados facilmente, o Logstash é uma escolha popular para carregar dados no Elasticsearch.

Carregue facilmente dados não estruturados

O Logstash facilita a ingestão de dados não estruturados de várias fontes de dados, incluindo logs do sistema, logs de sites e logs de servidor de aplicações.

Filtros pré-construídos

O Logstash oferece filtros pré-construídos, para que você possa transformar facilmente tipos de dados comuns, indexá-los no Elasticsearch e começar a consultar sem precisar construir pipelines de transformação de dados personalizados.

Arquitetura de plugins flexível

Com mais de 200 plugins já disponíveis no GitHub, é provável que alguém já tenha construído o plugin necessário para você personalizar seu pipeline de dados. Porém, se não houver um plugin disponível que atenda às suas necessidades, você poderá criar um sozinho facilmente.

K = Kibana

O Kibana é uma ferramenta de visualização e exploração de dados usada para log e análise de séries temporais, monitoramento de aplicações e casos de uso de inteligência operacional. Ele oferece recursos poderosos e fáceis de usar, como histogramas, gráficos de linhas, gráficos de pizza, mapas de calor e suporte geoespacial integrado. Além disso, ele fornece uma estreita integração com o Elasticsearch, um mecanismo de análise e pesquisa popular, o que torna o Kibana a opção padrão para visualizar dados armazenados no Elasticsearch.

Em 21 de janeiro de 2021, a Elastic NV anunciou que mudaria sua estratégia de licenciamento de software e não lançaria novas versões do Elasticsearch e do Kibana sob a licença permissiva Apache License, Version 2.0 (ALv2). Em vez disso, novas versões do software serão oferecidas sob a licença Elastic, com o código-fonte disponível sob a licença Elastic ou a SSPL. Essas licenças não são de código aberto e não oferecem as mesmas liberdades aos usuários. Para garantir que a comunidade de código aberto e nossos clientes continuem a ter um conjunto de análise e pesquisa seguro, de alta qualidade e código aberto, introduzimos o projeto OpenSearch, uma ramificação do Elasticsearch e Kibana de código aberto, licenciada sob a ALv2 e orientada pela comunidade. O conjunto OpenSearch consiste em um mecanismo de busca, o OpenSearch, e uma visualização e interface de usuário, o OpenSearch Dashboards.

Você pode executar o Kibana on-premises, no Amazon Elastic Compute Cloud (Amazon EC2) ou nas versões licenciadas do Apache 2.0 (até a versão 7.10.2) do Amazon OpenSearch Service. O OpenSearch Dashboards é uma alternativa de código aberto ao Kibana e que também está disponível para autogerenciamento. É derivado da última versão de código aberto do Kibana (7.10.2). Contém muitos avanços e é compatível com o Projeto OpenSearch. Com implantações on-premises ou do Amazon EC2, você é responsável por provisionar a infraestrutura, instalar o software Kibana ou OpenSearch Dashboards e gerenciar a infraestrutura. Com o OpenSearch Service, o Kibana ou o OpenSearch Dashboards são implantados automaticamente com seu domínio como um serviço totalmente gerenciado, cuidando automaticamente de todo o trabalho pesado para gerenciar o cluster.

Gráficos interativos

O Kibana oferece gráficos e relatórios intuitivos que você pode usar para navegar interativamente por grandes quantidades de dados de log. Você pode arrastar dinamicamente janelas de tempo, aumentar e diminuir o zoom de subconjuntos de dados específicos e detalhar relatórios para extrair insights acionáveis dos seus dados.

Suporte para mapeamentos

O Kibana inclui poderosos recursos geoespaciais para que você possa distribuir perfeitamente informações geográficas em camadas sobre os seus dados e visualizar resultados em mapas.

Agregações e filtros pré-construídos

Usando agregações e filtros pré-construídos do Kibana, é possível executar várias análises, como histogramas, consultas de N principais e tendências em apenas algumas etapas.

Painéis facilmente acessíveis

É fácil configurar painéis e relatórios e compartilhá-los com outras pessoas. Tudo o que você precisa é de um navegador para visualizar e explorar os dados.

Como funciona a pilha ELK?

O Logstash ingere, transforma e envia os dados ao destino correto.
O Elasticsearch indexa, analisa e pesquisa os dados ingeridos.
O Kibana exibe os resultados da análise.

O que a pilha ELK faz?

A pilha ELK é usada para resolver uma ampla gama de problemas, como análise de logs, pesquisas de documentos, informações de segurança e gerenciamento de eventos (SIEM) e observabilidade. Ela fornece um mecanismo de pesquisa, análise, ingestão de dados e visualização.

Por que a pilha ELK é importante?

A pilha ELK atende a uma necessidade no espaço de análise de log. À medida que uma parcela cada vez maior da sua infraestrutura de TI é migrada para nuvens públicas, você precisa de uma solução de gerenciamento e análise de logs para monitorar essa infraestrutura e processar todos os logs de servidor, logs de aplicações e sequências de cliques. A pilha ELK fornece uma solução de análise de log simples e robusta para que seus desenvolvedores e engenheiros de DevOps obtenham insights valiosos sobre diagnóstico de falhas, performance de aplicações e monitoramento de infraestrutura por uma fração do preço.

Como posso escolher a solução adequada para a pilha ELK?

Na AWS, você pode optar por implantar e gerenciar a pilha ELK por conta própria no EC2. Contudo, o aumento e a redução da escala vertical para atender a seus requisitos de negócios ou os esforços para obter segurança e conformidade são um grande desafio com a opção autogerenciada. Caso prefira que seus desenvolvedores ou engenheiros de DevOps ocupem seu tempo criando aplicações inovadoras ou gerenciando tarefas operacionais, como implantação, atualizações, instalação e correção de softwares, backups e monitoramento, o OpenSearch Service é uma alternativa de código aberto totalmente gerenciada que facilita a implantação, operação e escalabilidade de clusters do OpenSearch de forma segura e econômica na AWS.

Quais ofertas da AWS oferecem suporte à sua pilha ELK?

O OpenSearch Service é compatível com várias versões do Elasticsearch licenciado pelo Apache 2.0 (versões 1.5 a 7.10) e Kibana (versões 1.5 a 7.10). O OpenSearch Service também é compatível com a integração com o Logstash para coletar e transformar dados de suas fontes e, em seguida, carregá-los no serviço.

Quais ferramentas de ingestão são oferecidas pela AWS?

A AWS tem várias ferramentas de ingestão de dados, como o Amazon Kinesis Data Firehose, o Amazon CloudWatch Logs e o AWS IoT, para oferecer a flexibilidade de selecionar a ferramenta de ingestão de dados que atende a seus requisitos de casos de uso. Para saber mais, consulte Integrações do Amazon OpenSearch Service.

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

O que é a pilha ELK?