Что такое стек ELK?
Что такое стек ELK?
ELK – это аббревиатура, используемая для описания стека из трех популярных проектов: Elasticsearch, Logstash и Kibana. Стек ELK, зачастую именуемый Elasticsearch, предоставляет возможность собирать журналы всех ваших систем и приложений, анализировать их и создавать визуализации, чтобы мониторить приложения и инфраструктуры, быстрее устранять неполадки, анализировать систему безопасности и многое другое.
E = Elasticsearch
Elasticsearch – это распределенный поисковый и аналитический движок на базе Apache Lucene. Он становится идеальным инструментом для различных примеров использования аналитики журналов и поиска благодаря поддержке различных языков, высокой производительности и документам JSON без схем.
Дополнительную информацию смотрите в разделе Что такое Elasticsearch?
21 января 2021 года команда Elastic NV объявила об изменении стратегии лицензирования программного обеспечения и прекращении выпуска новых версий Elasticsearch и Kibana под разрешительной лицензией Apache 2.0 (ALv2). Вместо них предложены новые версии программного обеспечения по лицензии Elastic, а исходный код доступен по лицензии Elastic или SSPL. Эти лицензии не являются открытыми исходными кодами и не дают пользователям ту же свободу. Для безопасного высококачественного поиска и аналитики с полностью открытым исходным кодом мы создали проект OpenSearch – развиваемую сообществом ветвь открытого исходного кода Elasticsearch и Kibana с лицензией ALv2.
L = Logstash
Logstash – это предназначенный для получения данных инструмент с открытым исходным кодом, который позволяет собирать данные из различных источников, преобразовывать их и отправлять в нужное место назначения. Благодаря встроенным фильтрам и поддержке более 200 подключаемых модулей Logstash обеспечивает пользователям простой доступ к данным независимо от их источника или типа.
Logstash – это нетребовательный серверный конвейер обработки данных с открытым исходным кодом, который позволяет собирать данные из различных источников, преобразовывать их и отправлять в нужное место назначения. Как правило, он используется в качестве конвейера данных для Elasticsearch, аналитического и поискового движка с открытым исходным кодом. Logstash популярен для загрузки данных в Elasticsearch благодаря тесной интеграции, мощным возможностям обработки журналов и более чем 200 встроенным модулям с открытым исходным кодом, которые помогут с легкостью индексировать данные.
Простая загрузка неструктурированных данных
Logstash обеспечивает простое получение неструктурированных данных из различных источников, включая журналы систем, веб-сайтов и сервера приложения.
Встроенные фильтры
Logstash предлагает встроенные фильтры, поэтому вам доступно готовое преобразование распространенных типов файлов, их индексация в Elasticsearch и запуск запросов без необходимости создания собственных конвейеров преобразования данных.
Гибкая архитектура подключаемых модулей
Поскольку на GitHub доступно более 200 модулей, вполне вероятно, что кто-то уже создал тот модуль, который необходим для настройки вашего конвейера данных. Но если ни один из них не соответствует вашим требованиям, вы можете с легкостью создать его самостоятельно.
K = Kibana
Kibana – это инструмент визуализации и изучения данных, который применяется для таких задач, как анализ журналов и временных рядов, мониторинг приложений и текущих процессов. Он предлагает мощные и простые в использовании возможности: гистограммы, линейные графики, круговые диаграммы, тепловые карты и встроенную геопространственную поддержку. Кроме того, он обеспечивает тесное взаимодействие с Elasticsearch, популярной аналитической и поисковой системой, за счет чего Kibana по умолчанию выступает как инструмент визуализации хранящихся в Elasticsearch данных.
21 января 2021 года команда Elastic NV объявила об изменении стратегии лицензирования программного обеспечения и прекращении выпуска новых версий Elasticsearch и Kibana под разрешительной лицензией Apache 2.0 (ALv2). Вместо них предложены новые версии программного обеспечения по лицензии Elastic, а исходный код доступен по лицензии Elastic или SSPL. Эти лицензии не являются открытыми исходными кодами и не дают пользователям ту же свободу. Желая предоставить специалистам, которые работают с открытым исходным кодом, и своим клиентам безопасный высококачественный комплект инструментов для поиска и аналитики с полностью открытым исходным кодом, мы создали проект OpenSearch – развиваемую сообществом ветвь открытого исходного кода Elasticsearch и Kibana с лицензией ALv2. Комплект OpenSearch состоит из поискового движка, OpenSearch, а также из интерфейса визуализации и пользовательского интерфейса OpenSearch Dashboards.
Kibana с лицензией Apache 2.0 (до версии 7.10.2) можно запускать локально, в Amazon Elastic Compute Cloud (Amazon EC2) или сервисе Amazon OpenSearch. OpenSearch Dashboards – это альтернатива Kibana с открытым исходным кодом, доступная для самостоятельного управления. Эта система была создана на основе последней версии Kibana с открытым исходным кодом (7.10.2). Она содержит множество усовершенствований и поддерживается проектом OpenSearch. При развертывании локально или в Amazon EC2 вы несете ответственность за подготовку инфраструктуры, управление ею, а также установку программного обеспечения Kibana или OpenSearch Dashboards. Благодаря сервису OpenSearch Kibana или OpenSearch Dashboards автоматически развертываются вместе с вашим доменом как полностью управляемые сервисы и берут на себя все тяжелые задачи по управлению кластером.
Интерактивные схемы
Kibana предлагает интуитивно понятные схемы и отчеты, которые можно использовать для интерактивной навигации по большим объемам данных журналов. Вы можете динамически перемещать временные окна, увеличивать и уменьшать масштаб определенных подмножеств данных и детализировать отчеты, чтобы получить полезные выводы из своих данных.
Поддержка картографирования
Kibana обеспечивает мощные геопространственные возможности, позволяя с легкостью накладывать географическую информацию поверх данных и визуализировать результаты на картах.
Встроенные агрегаторы и фильтры
Используя встроенные агрегаторы и фильтры Kibana, можно в несколько шагов запускать различные аналитические функции, такие как гистограммы, запросы top-N и тенденции.
Легкодоступные панели управления
Вы можете легко настраивать панели управления и отчеты и делиться ими с другими. Все, что потребуется – это браузер для просмотра и изучения данных.
Как работает стек ELK?
- Logstash позволяет собирать, преобразовывать и отправлять данные в нужный пункт назначения.
- С помощью Elasticsearch можно индексировать и анализировать полученные данные, а также производить в них поиск.
- Kibana предоставляет визуализацию результатов анализа.
Каковы функции стека ELK?
Стек ELK используется для решения широкого круга задач, включая аналитику журналов, поиск документов, управление информацией и событиями безопасности (SIEM), а также обеспечение наблюдаемости. Он обеспечивает работу поисково-аналитического механизма, получение данных и визуализацию.
Почему стек ELK настолько важен?
Стек ELK удовлетворяет потребности в сфере аналитики журналов. Когда большая часть ИТ-инфраструктуры перемещается в публичные облака, вам требуется решение для аналитики и управления журналами, которое позволит мониторить эту инфраструктуру и обрабатывать любые журналы серверов или приложений и данные навигации. Стек ELK предоставляет простое, но надежное решение по анализу журналов для разработчиков и инженеров DevOps, которое позволяет за небольшую плату получить полезные выводы из диагностики сбоев, производительности приложений и мониторинга инфраструктуры.
Как выбрать подходящее решение для стека ELK?
В AWS вы можете самостоятельно развернуть стек ELK и управлять им в EC2. Но вертикальное масштабирование в соответствии с нуждами вашего бизнеса или обеспечение безопасности и соответствия требованиям – это сложная задача при самостоятельном управлении. Если вы предпочитаете, чтобы разработчики или инженеры DevOps тратили свое время на создание инновационных приложений или управление операционными задачами, такими как развертывание, обновление, установка и исправление программного обеспечения, резервное копирование и мониторинг, обратите внимание на сервис OpenSearch – это полностью управляемая альтернатива с открытым исходным кодом, которая упрощает безопасное и экономичное развертывание, использование и масштабирование кластеров OpenSearch на AWS.
Какие предложения AWS поддерживают стек ELK?
Сервис OpenSearch поддерживает несколько версий Elasticsearch с лицензией Apache 2.0 (версии от 1.5 до 7.10) и Kibana (версии от 1.5 до 7.10). Сервис OpenSearch также поддерживает интеграцию с Logstash для сбора данных из ваших источников, их преобразования, а затем загрузки их в нужный сервис.
Какие инструменты получения данных предлагает AWS?
AWS предлагает несколько инструментов получения данных, например Amazon Data Firehose, журналы Amazon CloudWatch и AWS IoT. Вы можете выбрать любой из них в соответствии с потребностями своего примера использования. Подробнее смотрите в разделе Интеграция сервиса Amazon OpenSearch.
В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированным товарным знаком Elasticsearch B.V.
Дальнейшие шаги на AWS
Browse all cloud computing concepts
Browse all cloud computing concepts content here:
Did you find what you were looking for today?
Let us know so we can improve the quality of the content on our pages