O Logstash é um pipeline de processamento de dados leve, de código aberto e no lado do servidor que permite coletar dados de uma variedade de fontes, transformá-los dinamicamente e enviá-los ao destino desejado. Ele é usado com mais frequência como um pipeline de dados para o Elasticsearch, um mecanismo de pesquisa e análise de código aberto. Devido à sua estreita integração com o Elasticsearch, poderosos recursos de processamento de logs e mais de 200 plugins de código aberto pré-construídos que podem ajudar você a indexar seus dados facilmente, o Logstash é uma escolha popular para carregar dados no Elasticsearch.
Benefícios do Logstash
Carregue facilmente dados não estruturados
O Logstash facilita a ingestão de dados não estruturados de uma variedade de fontes de dados, incluindo logs do sistema, logs de sites e logs de servidor de aplicações.
Filtros pré-construídos
O Logstash oferece filtros pré-construídos, para que você possa transformar facilmente tipos de dados comuns, indexá-los no Elasticsearch e começar a consultar sem precisar construir pipelines de transformação de dados personalizados.
Arquitetura de plugins flexível
Com mais de 200 plugins já disponíveis no Github, é provável que alguém já tenha construído o plugin necessário para você personalizar seu pipeline de dados. Porém, se não houver um plugin disponível que atenda às suas necessidades, você poderá criar um sozinho facilmente.
Conceitos básicos sobre o Logstash na AWS
Para facilitar aos clientes a execução do Elasticsearch de código aberto e a ingestão de dados nele, a AWS oferece o Amazon OpenSearch Service (sucessor do Amazon Elasticsearch Service), um serviço totalmente gerenciado que fornece fácil integração com o Logstash para o Elasticsearch. Para começar, basta executar seu domínio do Amazon OpenSearch Service e começar a carregar dados do seu servidor Logstash. Você pode experimentar o Logstash e o Amazon OpenSearch Service gratuitamente usando o Nível gratuito da AWS.
Soluções alternativas de ingestão de dados
O Amazon OpenSearch Service oferece integrações integradas com o Amazon Kinesis Data Firehose, o Amazon CloudWatch Logs e o AWS IoT para ajudar você a ingerir dados com mais facilidade no Elasticsearch. Como alternativa, você também pode criar seu próprio pipeline de dados usando soluções de código aberto, como o Apache Kafka e o Fluentd. Para descobrir qual ferramenta de ingestão é ideal para o seu caso de uso, visite a página Ingestão de dados do Amazon OpenSearch Service.
Saiba mais sobre os preços do Amazon OpenSearch Service