Возможности Сервиса Amazon OpenSearch

Настройка и конфигурирование. Начать работу с сервисом OpenSearch просто. Чтобы провести настройку и конфигурирование кластера сервиса OpenSearch, используйте Консоль управления AWS или вызов API в интерфейсе командной строки AWS (AWS CLI). В любой момент можно указать количество инстансов, их типы, варианты хранилищ, а также изменить или удалить существующие кластеры.

Местные обновления. Сервис OpenSearch позволяет с легкостью обновлять кластеры OpenSearch и Elasticsearch (до версии 7.10) до новых версий. Благодаря местным обновлениям этот процесс проходит без каких-либо простоев. Благодаря таким обновлениям не требуется вручную делать снимок состояния, восстанавливать его в новой версии кластера и обновлять все ссылки на адреса.

Мониторинг событий и оповещение о них. Сервис OpenSearch предоставляет встроенную функцию мониторинга событий и оповещения о них, благодаря чему вы сможете отслеживать данные в кластере и пользоваться автоматической отправкой уведомлений в зависимости от заранее заданных пороговых значений. Эта возможность на базе подключаемого модуля предупреждений OpenSearch позволяет настраивать и управлять предупреждениями с помощью интерфейсов Kibana или OpenSearch Dashboards и Обработки запросов на основе передачи состояния. Вы можете получать оповещения через пользовательский веб-сигнальщик, Slack, Простой сервис уведомлений Amazon (Amazon SNS) и Amazon Chime. Также вы сможете бесплатно просматривать метрики состояния кластера, в том числе данные о количестве инстансов, состоянии кластера, доступных для поиска документов, ЦПУ и памяти, а также использовании диска для узлов данных и основных узлов в Amazon CloudWatch.

Поддержка нескольких языков в запросах: Благодаря сервису OpenSearch не нужно знать определенный язык домена запросов (DSL) OpenSearch. Составляйте SQL-запросы с помощью OpenSearch SQL или OpenSearch Piped Processing Language (PPL) – языка запросов, который позволяет использовать синтаксис канала (|) для изучения, обнаружения и запроса ваших данных. OpenSearch Dashboards также включает рабочее пространство SQL и PPL.

Интеграция с инструментами с открытым исходным кодом. В сервисе OpenSearch встроен модуль OpenSearch Dashboards и Kibana Elasticsearch (не старше версии 7.10) и предусмотрена интеграция с Logstash, поэтому можно принимать и визуализировать данные с помощью удобных для вас инструментов с открытым исходным кодом. Выполняйте аналитику трассировки с поддержкой сервиса OpenSearch для стандартного открытого исходного кода OpenTelemetry и продолжайте использовать существующий код с прямым доступом к Elasticsearch API и таким модулям, как Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor и Mapper Murmur3.

Безопасность. Сервис OpenSearch позволяет безопасно подключать приложения к управляемой среде Elasticsearch (не старше версии 7.10) или OpenSearch из виртуального частного облака Amazon (Amazon VPC) или через публичную сеть Интернет, настраивая доступ к сети с помощью групп безопасности VPC или политик доступа на основе IP. Вы также можете безопасно выполнять аутентификацию своих пользователей и управлять доступом с помощью сервисов Amazon Cognito, AWS Identity and Access Management (IAM) либо с помощью базовых средств аутентификации, используя имя пользователя и пароль. Сервис OpenSearch использует подключаемый модуль безопасности OpenSearch, который позволяет формулировать точную настройку разрешений для индексов, документов или полей. Функции Kibana можно расширить за счет просмотра только в режиме чтения и безопасной многопользовательской поддержки. Сервис OpenSearch также поддерживает встроенную функцию шифрования хранящихся и передаваемых данных, поэтому вы можете защитить свои данные при хранении их в домене или с использованием автоматических снимков состояния и их передаче между узлами в вашем домене. Сервис OpenSearch соответствует требованиям HIPAA, а также стандартам PCI DSS, SOC, ISO и FedRAMP и позволяет создавать приложения, отвечающие нормативным требованиям.

Бессерверная конфигурация. Автоматическое выделение и непрерывная корректировка для достижения высокой скорости получения данных и времени отклика в несколько миллисекунд при изменении характера использования и спроса с Amazon OpenSearch бессерверным.

Хранилище «горячих» данных обеспечивает быстрый доступ к часто запрашиваемым данным. UltraWarm – уровень хранилища «теплых» данных, который служит дополнением к уровню хранилища «горячих» данных сервиса OpenSearch, обеспечивая более экономичное хранение старых и нечасто используемых данных при той же интерактивности запросов. UltraWarm хранит данные в Простом сервисе хранения данных Amazon (Amazon S3) и использует настраиваемые узлы с высокой степенью оптимизации, специально созданных для использования с системой AWS Nitro для кэширования, создания предварительных выборок и быстрого осуществления запросов к данным.

UltraWarm позволяет хранить до 3 ПБ данных в одном кластере сервиса OpenSearch при снижении цены за 1 ГБ примерно на 90 % по сравнению с уровнем хранилища «горячих» данных. Вы также можете с легкостью отправлять запросы или визуализировать данные в интерфейсах Kibana (версии не новее 7.10) или OpenSearch Dashboards. Анализируйте как новые (не старше недели), так и исторические (собранные за месяцы или годы) журналы данных, не тратя часы или дни на восстановление архивированных журналов.

Вопрос. Что такое UltraWarm?

UltraWarm – это полностью управляемое, недорогое хранилище «теплых» данных для сервиса OpenSearch. Оно совместимо с OpenSearch, Elasticsearch (до версии 7.10), OpenSearch Dashboards и Kibana (до версии 7.10), что позволяет анализировать данные с помощью инструментов, которые сервис OpenSearch дает уже сейчас. UltraWarm просто интегрируется с существующими возможностями сервиса OpenSearch, такими как встроенные предупреждения, SQL‑запросы и многое другое. 

Вопрос. Зачем использовать UltraWarm?

UltraWarm поможет вам экономично расширить данные, которые вы хотите проанализировать в сервисе OpenSearch. Вы можете получить ценную информацию о данных, которые ранее могли быть удалены или заархивированы. С UltraWarm теперь можно экономично хранить больше своих данных и интерактивно анализировать их в любое время.

Вопрос. Как относится UltraWarm к сервису OpenSearch и как они взаимодействуют?

Сервис OpenSearch поддерживает два уровня интегрированного хранения: хранение «горячих данных» и UltraWarm. Хранилище «горячих данных» питается от узлов данных, которые используются для индексации, обновления и обеспечения самого быстрого доступа к данным. Узлы UltraWarm дополняют хранилище «горячих» данных, предоставляя недорогое хранилище «только для чтения» для старых и менее часто используемых данных.

Вопрос. Почему UltraWarm нужны только первичные данные для прочности?

UltraWarm использует Amazon S3 для хранения данных, который рассчитан на 99,999999999 процентов прочности и устраняет необходимость в настройке реплики Elasticsearch для ваших «теплых» данных. Кроме того, если у вас есть более одного узла UltraWarm, в случае сбоя узла другие узлы UltraWarm будут автоматически получать доступ к данным по мере необходимости.

Вопрос. Какой объем данных можно хранить в UltraWarm?

UltraWarm поддерживает до 3 ПБ первичных данных. Сервис UltraWarm разработан таким образом, чтобы вы могли использовать 100 % этого хранилища. А поскольку UltraWarm сохраняет данные в Amazon S3 для обеспечения надежности, вам не нужно использовать дополнительное хранилище для реплик Elasticsearch.

Вопрос. Каковы характеристики производительности UltraWarm?

UltraWarm обеспечивает интерактивную работу в OpenSearch Dashboards и Kibana, внедряя детализированное кэширование ввода-вывода, предварительную выборку и оптимизацию подсистемы запросов, чтобы обеспечить производительность, подобную инстансам высокой плотности с использованием локального хранилища.

Вопрос. Как приступить к работе с UltraWarm?

Чтобы начать работу с UltraWarm, создайте новый домен Сервиса OpenSearch с включенным UltraWarm с помощью консоли, CLI или API. Как только ваш домен создан, вы можете перемещать контент из хранилища «горячих» данных в UltraWarm с помощью API OpenSearch / Elasticsearch. Для получения дополнительной информации см. Руководство для разработчиков по сервису OpenSearch.

Хранилище «холодных» данных – это самая дешевая опция хранения, которая позволяет извлекать редко используемые данные в Amazon S3 и оплачивать вычисления только тогда, когда они необходимы. Хранилище «холодных» данных создано на основе технологии UltraWarm, которая обеспечивает специализированные узлы для хранения данных в Amazon S3 и использует сложное кэширование для поддержки интерактивного взаимодействия. За счет разъединения вычислительных ресурсов и хранения, хранилище «холодных» данных позволяет держать любой объем данных в домене сервиса OpenSearch, при этом снижая стоимость за ГБ до близкого к ценам хранилища Amazon S3 уровня; открепить ретроспективные или редко запрашиваемые «теплые» данные, пока они не используются, и освободить вычислительные ресурсы для снижения затрат; Найдите и выборочно прикрепите «холодные» данные к доменным узлам UltraWarm за считанные секунды, выбрав интерфейс Kibana (не старше версии 7.10) или OpenSearch Dashboards и простые в использовании API. Хранилище «холодных» данных позволяет запрашивать прикрепленные «холодные» данные с использованием того же интерактивного интерфейса и той же производительностью, что и в случае с «теплыми» данными.

Вопрос. Что такое хранилище «холодных» данных?

Хранилище «холодных» данных – это полностью управляемый наименее затратный уровень хранения для сервиса OpenSearch, с помощью которого можно по запросу безопасно хранить и анализировать ретроспективные журналы. Хранилище «холодных» данных помогает полностью отделить хранилище от вычислительных ресурсов, когда вы не занимаетесь активным анализом данных, и обеспечивает доступность данных при низких затратах. Хранилище «холодных» данных доступно в рамках домена сервиса OpenSearch через узел UltraWarm. Хранилище «холодных» данных легко встраивается в OpenSearch и панели OpenSearch, а также в Elasticsearch (версии 7.9 и 7.10) и Kibana (версии 7.9 и 7.10). Он помогает анализировать данные с помощью тех же инструментов, которые предоставляет сегодня сервис OpenSearch.

Вопрос. Почему мне следует использовать хранилище «холодных» данных?

Хранилище «холодных» данных позволяет вам экономически эффективно расширять данные, которые вы хотите проанализировать в сервисе OpenSearch, и получать ценную информацию о данных, которые ранее могли быть удалены или заархивированы. Хранилище «холодных» данных – подходящий инструмент, если необходимо изучить или провести экспертный анализ ваших более старых данных и для этого вы хотите задействовать все возможности сервиса OpenSearch по доступной цене. Хранилище «холодных» данных создано для масштабирования и опирается на Amazon S3. Найдите и исследуйте необходимые данные, прикрепите их к узлам UltraWarm в вашем кластере и подготовьте к анализу за считанные секунды. Прикрепленные «холодные» данные подчиняются существующим правилам тщательного контроля доступа, которые ограничивают доступ на уровне индекса, документа и поля.

Вопрос. Как относится хранилище «холодных» данных к сервису Amazon OpenSearch Service и как они взаимодействуют?

Сервис OpenSearch поддерживает три уровня интегрированного хранения: хранилище «горячих данных», UltraWarm и хранилище «холодных» данных. Хранилище «горячих» данных используется для индексации, обновления и обеспечения самого быстрого доступа к данным. UltraWarm обеспечивает плавное расширение «горячего» уровня, предоставляя вычислительные узлы и высокоэффективный интерактивный интерфейс для данных, которые надежно хранятся в Amazon S3 и должны находится в постоянном доступе. В настоящее время UltraWarm поддерживает до 3 ПБ данных в одном домене. Теперь благодаря хранилищу «холодных» данных вы можете открепить неиспользуемые индексы от UltraWarm и освободить вычислительные ресурсы, чтобы снизить затраты. С помощью API хранилища «холодных» данных и интерфейса OpenSearch Dashboards и Kibana вы можете быстро находить необходимые для анализа индексы с помощью шаблонов индексов и временных меток данных. После эти данные можно прикрепить к домену и подготовить к анализу за несколько секунд. По окончании анализа просто открепите данные и вновь освободите вычислительные возможности. 

Вопрос. Какой объем данных можно хранить в хранилище «холодных» данных?

Хранилище «холодных» данных создано для масштабирования. В то время как на хранение «горячих» и «теплых» данных действует ограничение в 3 ПБ, в хранилище «холодных» данных можно хранить любой объем.

Вопрос. Каковы характеристики производительности хранилища «холодных» данных?

Хранилище «холодных» данных создано на основе технологии UltraWarm, которая обеспечивает специализированные узлы для хранения данных в Amazon S3 и использует сложное кэширование для поддержки интерактивного взаимодействия. Хранилище «холодных» данных сначала необходимо прикрепить к узлу UltraWarm в вашем домене сервиса OpenSearch. После прикрепления запросы к данным будут работать за счет существующих узлов UltraWarm, поддерживающих тот же уровень производительности, что и для «теплых» данных. Если в UltraWarm доступен объем, соответствующий запрашиваемым данным, то прикрепление «холодных» индексов к вашему домену займет несколько секунд. Если потребуется дополнительный объем, добавление узлов UltraWarm может занять несколько минут.

Сервис OpenSearch предоставляет возможности поиска документов в реальном времени, которые выходят за рамки поиска по базам данных. Этот полностью управляемый сервис использует для поиска движок OpenSearch. OpenSearch – это полнофункциональная, основанная на Lucene, портативная, не зависящая от платформы поисковая система с открытым исходным кодом, поддерживающая поиск по ключевым словам, поиск на естественном языке, синонимы, несколько языков и многое другое. Основные возможности поиска включают указанные ниже.

• Получает данные из базы данных или системы управления контентом, внутреннего или внешнего поискового бота или потокового сервиса.
  
• Предоставляет поисковые API для создания интерфейса поверх поисковых сервисов.
  
• Обеспечивает поиск по многим атрибутам.
  
• Находит новые документы, соответствующие набору сохраненных запросов, с помощью перспективного поиска (фильтрация).
  
• Оценивает модели использования и выполняет планирование емкости и прогнозирование затрат с помощью возможностей мониторинга Сервиса OpenSearch.
  
• Использует встроенные алгоритмы машинного обучения (ML) для метода ближайших соседей (k-NN) для выполнения векторного поиска, поиска по сходству, семантического поиска и т. д.
• Использует встроенный алгоритм ML для техники Learning to Rank для расчета коэффициента релевантности.
  
• Обеспечивает простое, масштабируемое и высокопроизводительное векторное хранилище и поиск для поддержки дополненных машинным обучением возможностей поиска и генеративных приложений искусственного интеллекта.
• Использует несколько языков запросов, включая SQL.
  

Поисковые ресурсы

Предоставьте своим специалистам по операциям безопасности (SecOps) возможность быстро обнаруживать потенциальные угрозы, используя инструменты, помогающие расследовать проблемы безопасности, и все это при низких затратах на хранение данных. Защитите свои бизнес-данные и быстро обнаруживайте потенциальные угрозы безопасности. Сервис OpenSearch обеспечивает встроенную поддержку более 2,200 правил безопасности Sigma с открытым исходным кодом для выявления потенциальных угроз безопасности путем фильтрации результатов безопасности. Можно даже настроить или использовать стандартные правила Sigma для быстрого обнаружения потенциальных угроз безопасности и отправки оповещений в заранее выбранное место назначения. Используйте встроенную поддержку нескольких источников журналов, включая Windows, Netflow, AWS CloudTrail, DNS и другие. 

Вопрос. Что такое аналитика безопасности?

Аналитика безопасности OpenSearch предназначена для изучения, обнаружения и анализа угроз безопасности, которые могут поставить под угрозу работу критически важных бизнес-функций, а также реагирования на них. Эти угрозы включают потенциальную утечку конфиденциальных данных, кибератаки и другие неблагоприятные события в сфере безопасности. Сюда относятся инструменты и функции, необходимые для определения параметров обнаружения, генерации оповещений и эффективного реагирования на потенциальные угрозы.

Вопрос. Какие типы журналов безопасности поддерживает аналитика безопасности?

В настоящее время мы поддерживаем 8 типов журналов, включая Netflow, журналы DNS, журналы доступа Apache, журналы Windows, журналы AD/LDAP, системные журналы Linux, журналы AWS CloudTrail и журналы доступа к Amazon S3.

Вопрос. Как отправить эти журналы безопасности в OpenSearch?

Можно использовать существующие конвейеры приема, которые отправляют данные в формате JSON в OpenSearch.

Вопрос. Предоставляет ли аналитика безопасности правила безопасности без предварительной настройки? 

Да, аналитика безопасности OpenSearch содержит более 2,200 правил безопасности Sigma для использования без предварительной настройки с различными типами детекторов безопасности. Эти правила предварительно выбираются после того, как вы предоставите минимальную конфигурацию источника журнала.

Вопрос. Могу ли я создать собственные правила?

Да, для поддерживаемых выше типов журналов можно добавить собственные правила. Эти правила должны быть в формате правил Sigma и могут быть импортированы в OpenSearch перед использованием с детектором безопасности.

Вопрос. Нужно ли преобразовывать журналы в определенный формат или схему? 

Да, журналы должны быть в формате JSON. Мы рекомендуем отправлять их в формате ECS (Elastic Common Schema).

Вопрос. Нужно ли мне платить дополнительные лицензионные сборы за использование аналитики безопасности? 

Аналитика безопасности OpenSearch доступна вам без дополнительных затрат или лицензионных платежей. Вы платите столько же, сколько и за перенос других данных в Сервис OpenSearch. 

Вопрос. Какая версия Сервиса OpenSearch поддерживает аналитику безопасности? 

Аналитика безопасности предустановлена вместе с Сервисом OpenSearch под управлением OpenSearch версии 2.5 или выше.

Вопрос. Есть ли различия между аналитикой безопасности OpenSearch и Amazon Security Lake? 

Озеро безопасности Amazon автоматически централизует данные о безопасности из облачных, локальных и пользовательских источников в специально созданное озеро данных, хранящееся в вашем аккаунте. Эти объединенные данные нормируются в общий формат и хранятся в корзинах S3. Их можно вводить в Сервис OpenSearch, чтобы визуализировать и запрашивать данные и создавать отчеты по ним. Аналитика безопасности представляет собой механизм правил безопасности, который помогает обнаруживать потенциальные события безопасности и предупреждать о них, а также соотносить их для содействия расследованию.

Вопрос. Можно ли использовать аналитику безопасности OpenSearch вместе с Amazon Security Lake? 

Да, вы можете перенести дополнительные журналы из Озера безопасности в OpenSearch и создать детектор для выполнения соответствующих правил на загруженных журналах.

Cемейство оптимизированных для OpenSearch инстансов OR1 по результатам внутренних тестов имеет на 30% лучшее соотношение цены и производительности по сравнению с существующими инстансами и использует Amazon S3 для обеспечения уровня надежности «11 девяток». OR1 позволяет сервису Amazon OpenSearch Service использовать инновации OpenSearch и технологии AWS, переосмысляя индексирование и хранение данных в облаке. OR1 позволяет клиентам экономичнее и надежнее масштабировать развертывание OpenSearch без ущерба для ожидаемых возможностей интерактивной аналитики. 

Вопрос. Что такое OR1?

OR1 — это семейство оптимизированных для OpenSearch инстансов для управляемых кластеров сервиса Amazon OpenSearch, которое по результатам внутренних тестов имеет на 30% лучшее соотношение цены и производительности по сравнению с существующими инстансами и использует Amazon S3 для обеспечения уровня надежности «11 девяток». OR1 позволяет сервису Amazon OpenSearch Service использовать инновации OpenSearch и технологии AWS, переосмысляя индексирование и хранение данных в облаке. OR1 позволяет клиентам экономичнее и надежнее масштабировать развертывание OpenSearch без ущерба для ожидаемых возможностей интерактивной аналитики. OR1 предлагает оплату по факту использования и зарезервированные инстансы с простой почасовой оплатой за выделенные инстансы и хранилище.

Вопрос. Зачем использовать инстансы OR1?

Клиенты широко используют Amazon OpenSearch Service для анализа операционных журналов из-за его способности обрабатывать большие объемы данных, а также предоставлять расширенную интерактивную аналитику этих данных. Cемейство оптимизированных для OpenSearch инстансов OR1 по результатам внутренних тестов имеет на 30% лучшее соотношение цены и производительности по сравнению с существующими инстансами и использует Amazon S3 для обеспечения уровня надежности «11 девяток». Улучшенная производительность и эффективность вычислений помогут справиться с тяжелыми рабочими нагрузками по операционной аналитике с индексацией. Кроме того, в случае сбоя OpenSearch может выполнить автоматическое восстановление данных до последней успешной операции, что повышает надежность домена.

Вопрос. Как эта функция или сервис связаны с сервисом Amazon OpenSearch или работают с ним?

Сервис Amazon OpenSearch поддерживает две стратегии репликации — логическую (по документам) и физическую (по сегментам). В случае логической репликации данные индексируются на всех копиях по отдельности, что приводит к дублированию вычислительных затрат. В случае физической репликации данные индексируются только в первичной копии, а дополнительные копии создаются путем копирования данных из нее. Новые инстансы для управляемых кластеров сервиса Amazon OpenSearch OR1 используют физическую репликацию для записи данных в удаленное хранилище на базе Amazon S3. Репозиторий Amazon S3 — надежное хранилище данных — служит источником достоверной информации для всех операций репликации и восстановления. Новые схемы работы позволяют повысить производительность индексации и надежность доменов сервиса Amazon OpenSearch.

Вопрос. Чем семейство инстансов OR1 отличается от других инстансов для управляемых кластеров сервиса Amazon OpenSearch?

Сервис Amazon OpenSearch поддерживает узлы управления кластерами (мастер-узлы), узлы данных и теплые узлы. Для узлов данных, в зависимости от роли и характеристик рабочей нагрузки, можно выбрать следующие типы инстансов: общего назначения, с оптимизацией памяти, с оптимизацией вычислений, с оптимизацией хранения, а теперь и оптимизированные для OpenSearch. Для теплых узлов сервис Amazon OpenSearch предоставляет сверхтеплые инстансы, оптимизированные для снижения стоимости хранения теплых данных. OR1 — это первый вид инстансов в новом семействе инстансов, оптимизированных для OpenSearch. OR1 имеют оптимизацию памяти и доступны в виде узлов данных. Они обеспечивают улучшенную пропускную способность индексации по сравнению со стандартными инстансами с оптимизацией памяти. Кроме того, OR1 обеспечивают надежность данных без использования снимков состояния, и обеспечивают быстрое автоматизированное восстановление. Как OR1, так и сверхтеплые инстансы используют для хранения данных локальное хранилище (EBS) и удаленное хранилище (управляемое хранилище на основе Amazon S3). OR1 хранит копию данных и в локальном, и в удаленном хранилищах. В сверхтеплых инстансах для снижения затрат на хранение данные по большей части содержатся в удаленном хранилище и, в зависимости от схемы доступа, перемещаются в локальное хранилище. 

Вопрос. Насколько надежны инстансы OR1?

Инстансы OR1 используют EBS в качестве локального хранилища и Amazon S3 в качестве удаленного хранилища. Все данные синхронно записываются в Amazon S3, что обеспечивает надежность данных на уровне 99,999999999% («11 девяток»).

Вопрос. Каковы требования для включения инстансов OR1?

Инстансы OR1 можно использовать в качестве узлов данных для всех новых управляемых кластеров сервиса Amazon OpenSearch Service, созданных в OpenSearch версии 2.11 или более поздней версии и имеющих шифрование при хранении. На момент запуска инстансы OR1 будут недоступны для управляемых кластеров, созданных с использованием других инстансов узлов данных. Для OR1 необходимо выделить инстансы Graviton менеджерам кластеров.

Вопрос. Каким образом инстансы OR1 поддерживают автоматизированное восстановление данных?

В случае появления красного индекса инстансы OR1 автоматически восстанавливают недостающие сегменты из удаленного хранилища (Amazon S3). Время восстановления зависит от объема восстанавливаемых данных. 

Детали возможностей Сервиса OpenSearch:

• С учетом затрат
• Интеграции
• Управляемый кластер
• Бессерверная конфигурация
• Наблюдаемость
• Безопасность