O Logstash é um pipeline de processamento de dados leve, de código aberto e no lado do servidor que permite coletar dados de uma variedade de fontes, transformá-los dinamicamente e enviá-los ao destino desejado. Ele é usado com mais frequência como um pipeline de dados para o Elasticsearch, um mecanismo de pesquisa e análise de código aberto. Devido à sua estreita integração com o Elasticsearch, poderosos recursos de processamento de logs e mais de 200 plugins de código aberto pré-construídos que podem ajudar você a indexar seus dados facilmente, o Logstash é uma escolha popular para carregar dados no Elasticsearch.
Benefícios do Logstash
Carregue facilmente dados não estruturados
O Logstash facilita a ingestão de dados não estruturados de uma variedade de fontes de dados, incluindo logs do sistema, logs de sites e logs de servidor de aplicações.
Filtros pré-construídos
O Logstash oferece filtros pré-construídos, para que você possa transformar facilmente tipos de dados comuns, indexá-los no Elasticsearch e começar a consultar sem precisar construir pipelines de transformação de dados personalizados.
Arquitetura de plugins flexível
Com mais de 200 plugins já disponíveis no Github, é provável que alguém já tenha construído o plugin necessário para você personalizar seu pipeline de dados. Porém, se não houver um plugin disponível que atenda às suas necessidades, você poderá criar um sozinho facilmente.
Conceitos básicos sobre o Logstash na AWS
Para proporcionar facilidade aos clientes na execução do Elasticsearch de código aberto e na ingestão de dados para ele, a AWS oferece o Amazon OpenSearch Service, um serviço totalmente gerenciado que fornece o Elasticsearch com integração fácil ao Logstash. Para começar, basta executar seu domínio do Amazon OpenSearch Service e começar a carregar dados do seu servidor Logstash. Você pode experimentar o Logstash e o Amazon OpenSearch Service gratuitamente usando o Nível gratuito da AWS.
Soluções alternativas de ingestão de dados
O Amazon OpenSearch Service oferece integrações integradas com o Amazon Kinesis Data Firehose, o Amazon CloudWatch Logs e o AWS IoT para ajudar você a ingerir dados com mais facilidade no Elasticsearch. Como alternativa, você também pode criar seu próprio pipeline de dados usando soluções de código aberto, como o Apache Kafka e o Fluentd. Para descobrir qual ferramenta de ingestão é ideal para o seu caso de uso, visite a página Ingestão de dados do Amazon OpenSearch Service.
O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.
Saiba mais sobre os preços do Amazon OpenSearch Service