Что такое OpenSearch?

Возможность

Преимущество

Расширенные возможности обеспечения безопасности

Предлагает возможности шифрования, аутентификации, авторизации и аудита. Включая интеграции с Active Directory, LDAP, SAML, Kerberos, веб-токенами JSON и многими другими. OpenSearch также обеспечивает детальный контроль доступа к индексам, документам и полям на базе назначенных ролей.

Встроенные поисковые возможности

Предлагает ряд функций, которые помогут вам настроить свой поиск, включая полнотекстовый запрос, автозаполнение, поиск с прокруткой, настраиваемые оценки и ранжирование.

Синтаксис SQL-запроса

Предоставляет знакомый синтаксис SQL-запросов. Используйте агрегацию, требования «сгруппировать по» и «где» для изучения данных. Считывайте данные в виде документов JSON или таблиц CSV, чтобы подстраиваться под необходимый формат.

Поддержка при поиске в SQL

Позволяет использовать привычный синтаксис запросов SQL, получая при этом доступ к богатому набору поисковых возможностей, таких как нечеткое сопоставление, усиление, сопоставление фраз и многое другое.

Data Prepper

Data Prepper – это сборщик данных на стороне сервера, способный фильтровать, обогащать, преобразовывать, нормализовать и агрегировать данные для последующей аналитики и визуализации. Data Prepper позволяет создавать пользовательские конвейеры для улучшения оперативного представления приложений.

Trace Analytics

Trace Analytics предоставляет способ получения и визуализации данных OpenTelemetry в OpenSearch. Эти данные могут помочь вам найти и устранить проблемы производительности в распределенных приложениях.

Аналитика приложений

Используйте аналитику приложений для создания пользовательских приложений наблюдаемости для просмотра состояния доступности ваших систем, где вы можете объединить события журнала с данными отслеживания и метрики в единое представление общего состояния системы. Это позволяет быстро переключаться между журналами, отслеживанием и метриками, чтобы найти источник любых проблем.

Язык конвейерной обработки

Язык конвейерной обработки предоставляет знакомый синтаксис запроса с полным набором команд, разделенных по каналам (|) для запроса данных.

Операционная панель

Дает возможность построить операционные панели для организации визуализаций Observability, созданных с помощью языка обработки Piped Processing Language (PPL).

Аналитика событий

Использует запросы на языке Piped Processing Language (PPL) для интерактивного построения и просмотра различных визуализаций ваших данных, включая корреляции журнала отслеживания.

Библиотека ML Commons

Используйте ряд алгоритмов машинного обучения, таких как kmeans и обнаружение аномалий, для обучения моделей и прогнозирования тенденций в ваших данных. ML Commons напрямую взаимодействует с PPL и Обработкой запросов на основе передачи состояния.

Отчеты

Планируйте, экспортируйте и делитесь отчетами с панелей управления, сохраненными поисковыми запросами, предупреждениями и визуализациями. 

Обнаружение аномалий

Используйте обнаружение аномалий машинного обучения на основе алгоритма Random Cut Forest (RCF), чтобы автоматически находить аномалии при получении данных. Вместе с предупреждением можно отслеживать данные почти в режиме реального времени и автоматически отправлять уведомления. 

Управление индексами

Задайте пользовательские политики по автоматизации рутинных задач управления индексами, такими как перенос и удаление, и примените их к индексам и шаблонам индексов.

Преобразование индекса

Создает обобщенное представление данных по определенным полям, чтобы можно было визуализировать или анализировать данные различными способами. Например, предположим, что у вас есть данные об авиакомпаниях, разбросанные по множеству полей и категорий, и вы хотите просмотреть сводку данных, упорядоченную по авиакомпаниям, кварталам, а затем по ценам. Вы можете использовать задание преобразования для создания нового, обобщенного индекса, организованного по этим конкретным категориям.

Сворачивание индекса

Выберите интересующие вас поля и используйте сворачивание индекса для создания нового индекса, содержащего только эти поля, агрегированные в более грубые временные блоки. Вы можете хранить месяцы или годы исторических данных за меньшую стоимость при той же производительности запросов.

Анализатор производительности и платформа RCA

Запрашивайте многочисленные метрики производительности и агрегации кластеров. Используйте интерфейс командной строки (CLI) PerfTop, чтобы быстро отображать и анализировать эти показатели. Используйте платформу анализа первопричин (RCA) для изучения проблем производительности и надежности в кластерах.

Асинхронный поиск

Выполняйте сложные запросы, не беспокоясь о времени ожидания, и запускайте асинхронные поисковые запросы в фоновом режиме. Отслеживайте ход выполнения запроса и извлекайте частичные результаты по мере поступления.

Trace Analytics

Принимайте и визуализируйте данные OpenTelemetry для распределенных приложений. Визуализируйте поток событий между приложениями, чтобы выявить проблемы производительности.

Выдача предупреждений

Автоматически отслеживайте данные и отправляйте оповещения о предупреждениях заинтересованным сторонам. Благодаря интуитивно понятному интерфейсу и мощному API можно легко настраивать и отслеживать оповещения и управлять ими. Создавайте очень специфичные условия оповещения, используя полный язык запросов и возможности сценариев OpenSearch.

Оповещение на уровне корзины

Создает политики оповещения, которые предупреждают о сгруппированных тенденциях в ваших данных. Например, вы можете оповещать каждый узел, у которого среднее значение ЦПУ превышает желаемый порог.

Репликация в нескольких кластерах

Репликация индексов, сопоставлений и метаданных с одного кластера OpenSearch на другой для создания межкластерной избыточности или разгрузки запросов к отчетам на вторичный кластер.

Поиск k-NN

С помощью машинного обучения запускайте алгоритм поиска ближайших соседей для миллиардов документов в тысячах измерений так же легко, как и при выполнении любого обычного запроса OpenSearch. Используйте требования агрегации и фильтров для дальнейшего уточнения операций по поиску сходства. Среди примеров использования поиска по сходству k-NN рекомендации продуктов, обнаружение мошенничества, поиск изображений, видео и связанных документов и многое другое.

Блокноты панели управления

Объединяйте панели управления, визуализации, текст и многое другое для обеспечения контекста и подробных объяснений при анализе данных.

Клиенты OpenSearch

OpenSearch поддерживает ряд языковых клиентов, таких как Go, JavaScript, Python, Java и другие. Используйте эти клиенты для создания приложений, которые напрямую интегрируются с OpenSearch.