Logstash – это нетребовательный серверный конвейер обработки данных с открытым исходным кодом, который позволяет собирать данные из различных источников, преобразовывать их и отправлять в нужное место назначения. Как правило, он используется в качестве конвейера данных для Elasticsearch, аналитического и поискового движка с открытым исходным кодом. Logstash популярен для загрузки данных в Elasticsearch благодаря тесной интеграции, мощным возможностям обработки журналов и более чем 200 встроенным модулям с открытым исходным кодом, которые помогут с легкостью индексировать данные.

Преимущества Logstash

Простая загрузка неструктурированных данных

Logstash обеспечивает простое получение неструктурированных данных из различных источников, включая системные журналы, журналы веб-сайтов и сервера приложения. 

Встроенные фильтры

Logstash предлагает встроенные фильтры, поэтому вам доступно готовое преобразование распространенных типов файлов, их индексация Elasticsearch и запуск запросов без необходимости создания собственных конвейеров преобразования данных.

Гибкая архитектура подключаемых модулей

Поскольку на Github доступно более 200 модулей, вполне вероятно, что кто-то уже создал тот модуль, который необходим для настройки вашего конвейера данных. Но если ни один из них не соответствует вашим требованиям, вы можете с легкостью создать его самостоятельно.

Начало работы с Logstash на AWS

Чтобы обеспечить для клиентов более простой запуск Elasticsearch с открытым исходным кодом и загрузку данных, AWS предлагает Amazon OpenSearch Service (преемник Amazon Elasticsearch Service) – полностью управляемый сервис, дающий доступ к Elasticsearch с легкой интеграцией Logstash. Для начала работы запустите домен Amazon OpenSearch Service и начните загружать данные с сервера Logstash. Вы можете бесплатно испытать Logstash в Amazon OpenSearch Service на уровне бесплатного пользования AWS.

 

Альтернативные решения для сбора данных

Amazon OpenSearch Service предлагает встроенную интеграцию с Amazon Kinesis Data Firehose, Amazon CloudWatch Logs и AWS IoT, чтобы упростить ввод данных в Elasticsearch. Кроме того, вы можете создать собственный конвейер данных, используя решения с открытым исходным кодом, такие как Apache Kafka и Fluentd. Чтобы узнать, какой инструмент сбора данных подходит для вашего примера использования, перейдите на страницу Сбор данных Amazon OpenSearch Service.

Подробнее о ценах на Amazon OpenSearch Service

Перейти на страницу цен
Готовы приступить к разработке?
Начало работы с Amazon OpenSearch Service
Есть вопросы?
Связаться с нами