Что такое стек ELK?

ELK – это аббревиатура, используемая для описания стека из трех популярных проектов: Elasticsearch, Logstash и Kibana. Стек ELK, зачастую именуемый Elasticsearch, предоставляет возможность собирать журналы всех ваших систем и приложений, анализировать их и создавать визуализации, чтобы мониторить приложения и инфраструктуры, быстрее устранять неполадки, анализировать систему безопасности и многое другое.

E = Elasticsearch

Elasticsearch – это распределенный поисковый и аналитический движок на базе Apache Lucene. Он становится идеальным инструментом для различных примеров использования аналитики журналов и поиска благодаря поддержке различных языков, высокой производительности и документам JSON без схем. 

Дополнительную информацию смотрите в разделе Что такое Elasticsearch?

21 января 2021 года Elastic NV объявила об изменении стратегии лицензирования программного обеспечения и о том, что новые версии Elasticsearch и Kibana под разрешительной лицензией Apache версии 2.0 (ALv2) выходить не будут. Вместо них предложены новые версии программного обеспечения по лицензии Elastic, а исходный код доступен по лицензии Elastic или SSPL. Эти лицензии не являются открытыми исходными кодами и не дают пользователям ту же свободу. Для безопасного высококачественного поиска и аналитики с полностью открытым исходным кодом мы создали проект OpenSearch – развиваемую сообществом ветвь открытого исходного кода Elasticsearch и Kibana с лицензией ALv2.

L = Logstash

Logstash – это предназначенный для приема данных инструмент с открытым исходным кодом, который позволяет собирать данные из различных источников, преобразовывать их и отправлять в нужное место назначения. Благодаря встроенным фильтрам и поддержке более 200 подключаемых модулей Logstash обеспечивает пользователям простой доступ к данным независимо от их источника или типа. 

Logstash – это нетребовательный серверный конвейер обработки данных с открытым исходным кодом, который позволяет собирать данные из различных источников, преобразовывать их и отправлять в нужное место назначения. Как правило, он используется в качестве конвейера данных для Elasticsearch, аналитического и поискового движка с открытым исходным кодом. Logstash популярен для загрузки данных в Elasticsearch благодаря тесной интеграции, мощным возможностям обработки журналов и более чем 200 встроенным модулям с открытым исходным кодом, которые помогут с легкостью индексировать данные.

Простая загрузка неструктурированных данных

Logstash обеспечивает простое получение неструктурированных данных из различных источников, включая журналы систем, веб-сайтов и сервера приложения. 

Встроенные фильтры

Logstash предлагает встроенные фильтры, поэтому вам доступно готовое преобразование распространенных типов файлов, их индексация Elasticsearch и запуск запросов без необходимости создания собственных конвейеров преобразования данных.

Гибкая архитектура подключаемых модулей

Поскольку на GitHub доступно более 200 модулей, вполне вероятно, что кто-то уже создал тот модуль, который необходим для настройки вашего конвейера данных. Но если ни один из них не соответствует вашим требованиям, вы можете с легкостью создать его самостоятельно.

K = Kibana

Kibana – это инструмент визуализации и изучения данных, который применяется для таких задач, как анализ журналов и временных рядов, мониторинг приложений и текущих процессов. Он предлагает мощные и простые в использовании возможности: гистограммы, линейные графики, круговые диаграммы, тепловые карты и встроенную геопространственную поддержку. Кроме того, он обеспечивает тесное взаимодействие с Elasticsearch, популярной аналитической и поисковой системой, за счет чего Kibana по умолчанию выступает как инструмент визуализации хранящихся в Elasticsearch данных.

21 января 2021 года Elastic NV объявила об изменении стратегии лицензирования программного обеспечения и о том, что новые версии Elasticsearch и Kibana под разрешительной лицензией Apache версии 2.0 (ALv2) выходить не будут. Вместо них предложены новые версии программного обеспечения по лицензии Elastic, а исходный код доступен по лицензии Elastic или SSPL. Эти лицензии не являются открытыми исходными кодами и не дают пользователям ту же свободу. Желая предоставить специалистам, которые работают с открытым исходным кодом, и нашим клиентам безопасный высококачественный комплект инструментов для поиска и аналитики с полностью открытым исходным кодом, мы создали проект OpenSearch – развиваемую сообществом ветвь открытого исходного кода Elasticsearch и Kibana с лицензией ALv2. Комплект OpenSearch состоит из поискового движка, OpenSearch и интерфейса визуализации и пользовательского интерфейса OpenSearch Dashboards.

Kibana с лицензией Apache 2.0 (до версии 7.10.2) можно запускать локально, на Эластичном облаке вычислений Amazon (Amazon EC2) или сервисе Amazon OpenSearch Service. OpenSearch Dashboards – это альтернатива Kibana с открытым исходным кодом, доступная для самостоятельного управления. Эта система была создана на основе последней версии Kibana с открытым исходным кодом (7.10.2). Она содержит множество усовершенствований и поддерживается проектом OpenSearch. При развертывании локально или на Amazon EC2 вы несете ответственность за подготовку и управление инфраструктурой и установку программного обеспечения Kibana или OpenSearch Dashboards. Благодаря OpenSearch Service Kibana или OpenSearch Dashboards автоматически развертываются вместе с вашим доменом как полностью управляемые сервисы и берут на себя всю тяжелую работу по управлению кластером.

Интерактивные схемы

Kibana предлагает интуитивно понятные схемы и отчеты, которые можно использовать для интерактивной навигации по большим объемам данных журналов. Вы можете динамически перемещать временные окна, увеличивать и уменьшать масштаб определенных подмножеств данных и детализировать отчеты, чтобы получить полезные выводы из своих данных.

Поддержка привязки

Kibana предлагает мощные геопространственные возможности, позволяя с легкостью накладывать географическую информацию поверх данных и визуализировать результаты на картах.

Встроенные агрегаторы и фильтры

Используя встроенные агрегаторы и фильтры Kibana, можно в несколько шагов запускать различные аналитические функции, такие как гистограммы, запросы top-N и тенденции.

Легкодоступные панели управления

Вы можете легко настраивать панели управления и отчеты и делиться ими с другими. Все, что потребуется – это браузер для просмотра и изучения данных.

Как работает стек ELK?

  1. Logstash собирает, преобразует и отправляет данные в нужный пункт назначения.
  2. Elasticsearch индексирует и анализирует собранные данные и производит поиск в них.
  3. Kibana предоставляет визуализацию результатов анализа.

Каковы функции стека ELK?

Стек ELK используется для решения широкого круга задач, включая аналитику журналов, поиск документов, управление информацией и событиями безопасности (SIEM), а также наблюдение. Он обеспечивает работу поисково-аналитического механизма, ввод данных и визуализацию.

Почему стек ELK настолько важен?

Стек ELK удовлетворяет потребности в сфере аналитики журналов. Когда большая часть ИТ-инфраструктуры перемещается в публичные облака, вам требуется решение для аналитики и управления журналами, которое позволит мониторить эту инфраструктуру и обрабатывать любые журналы серверов или приложений и данные навигации. Стек ELK дает простое, но надежное решение по анализу журналов для разработчиков и инженеров DevOps, которое позволяет получить полезные выводы из диагностики сбоев, производительности приложений и мониторинга инфраструктуры – за небольшую плату.

Как выбрать подходящее решение для стека ELK?

В AWS вы можете самостоятельно развернуть стек ELK и управлять им в EC2. Но вертикальное масштабирование в соответствии с нуждами вашего бизнеса или обеспечение безопасности и соответствия требованиям – это сложная задача при самостоятельном управлении. Если вы предпочитаете, чтобы разработчики или инженеры DevOps тратили свое время на создание инновационных приложений или управление операционными задачами, такими как развертывание, обновление, установка и исправление программного обеспечения, резервное копирование и мониторинг, обратите внимание на OpenSearch Service – это полностью управляемая альтернатива с открытым исходным кодом, которая упрощает безопасное и экономичное развертывание, использование и масштабирование кластеров OpenSearch на AWS.

Какие предложения AWS поддерживают стек ELK?

Сервис OpenSearch поддерживает несколько версий Elasticsearch с лицензией Apache 2.0 (версии от 1.5 до 7.10) и Kibana (версии от 1.5 до 7.10). Служба OpenSearch также поддерживает интеграцию с Logstash для сбора данных и их преобразования из ваших источников, а затем загрузки их в сервис.

Какие инструменты сбора данных предлагает AWS?

AWS предлагает несколько инструментов приема данных, например данные Amazon Kinesis Firehose, журналы Amazon CloudWatchs и AWS IoT, чтобы предоставить вам свободу выбора инструмента для получения данных, соответствующего потребностям примера использования. Подробнее смотрите в разделе Интеграция сервиса Amazon OpenSearch.

В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.

AWS: дальнейшие шаги

Изучите дополнительные ресурсы по продукту
Подробнее об OpenSearch 
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к уровню бесплатного пользования AWS. 

Регистрация 
Начало разработки в консоли

Начните разработку с использованием гибридного облака AWS в Консоли управления AWS.

Вход