Общие вопросы

Вопрос. Что такое Amazon OpenSearch Service (преемник Amazon Elasticsearch Service)?

Amazon OpenSearch Service упрощает интерактивный анализ журналов, мониторинг приложений в режиме реального времени, поиск на веб-сайтах и многие другие процессы. OpenSearch – это комплект с открытым исходным кодом для распределенного поиска и аналитики, созданный на базе Elasticsearch. В Amazon OpenSearch Service включены последние версии OpenSearch, поддержка 19 версий Elasticsearch (от версии 1.5 до 7.10) и возможности визуализации на базе панелей OpenSearch и Kibana (версии от 1.5 до 7.10).

Вопрос. Какие версии OpenSearch и Elasticsearch поддерживает Amazon OpenSearch Service?

Amazon OpenSearch Service предлагает новейшие версии OpenSearch и поддерживает 19 версий Elasticsearch (с 1.5 до 7.10). Дополнительную информацию см. в документации.

Вопрос. Что такое домен Amazon OpenSearch Service?

Домены Amazon OpenSearch Service – это кластеры Elasticsearch (с 1.5 до 7.10) или OpenSearch, созданные с помощью консоли Amazon OpenSearch Service, интерфейса командной строки или API. Каждый из доменов представляет собой кластер OpenSearch или Elasticsearch в облаке с вычислительными ресурсами и объемом хранилища, заданными клиентом. Сервис позволяет создавать и удалять домены, задавать атрибуты их инфраструктуры, а также управлять безопасностью и настройками доступа. Можно использовать один или несколько доменов Amazon OpenSearch Service.

Вопрос. Какие виды управления берет на себя Amazon OpenSearch Service?

Amazon OpenSearch Service управляет операциями, связанными с настройкой домена: от выделения запрашиваемых инфраструктурных ресурсов в сетевой среде до установки программного обеспечения OpenSearch или Elasticsearch. Когда домен уже работает, Amazon OpenSearch Service позволяет автоматизировать стандартные задачи администрирования, такие как резервное копирование данных, мониторинг инстансов и установка исправлений ПО. Сервис Amazon OpenSearch Service интегрирован с сервисом Amazon CloudWatch, что позволяет отслеживать состояние доменов с помощью соответствующих метрик. Кроме того, Amazon OpenSearch Service позволяет изменять настройки хранилища и инстанса домена, тем самым упрощая процесс адаптации домена к потребностям приложения.

Вопрос. Поддерживает ли Amazon OpenSearch Service интерфейсы API Elasticsearch или OpenSearch с открытым исходным кодом?

Amazon OpenSearch Service поддерживает большинство распространенных интерфейсов API OpenSearch и Elasticsearch, поэтому код, приложения и популярные инструменты, которые используются в существующих средах Elasticsearch (до версии 7.10) или OpenSearch, будут работать без изменений. Полный перечень поддерживаемых операций см. в документации.

Вопрос. Какие варианты развертывания предусмотрены для Amazon OpenSearch Service в отношении зон доступности (AZ)?

Amazon OpenSearch Service предлагает клиентам возможность развертывания инстансов в одной, двух или трех зонах доступности (AZ). Для рабочих нагрузок, связанных с разработкой или тестированием, можно выбрать развертывание в одной AZ. При запуске процессов в рабочей среде рекомендуется выбирать варианты развертывания в двух или трех AZ. Для рабочих нагрузок с повышенными требованиям к доступности настоятельно рекомендуется применять развертывание в трех AZ.

Примечание. Вариант с развертыванием в трех зонах доступности доступен только в регионах, где существует не менее трех зон доступности.

Вопрос. В каких регионах Amazon OpenSearch Service предоставляет возможность развертывания в трех зонах доступности?

Amazon OpenSearch Service поддерживает развертывание в трех зонах доступности в таких регионах: Восток США (Сев. Вирджиния, Огайо), Запад США (Орегон), AWS GovCloud (US-Gov-East, US-Gov-West), Канада (Центр), Южная Америка (Сан-Паулу), ЕС (Ирландия, Лондон, Франкфурт, Париж, Стокгольм, Милан), Азия и Тихий океан (Сингапур, Сидней, Токио, Сеул, Мумбаи, Гонконг), Ближний Восток (Бахрейн), Китай (Нинся под управлением NWCD) и Африка (Кейптаун).

Настройка и конфигурирование

Вопрос. Можно ли использовать для создания или изменения доменов консоль Amazon OpenSearch Service?

Да. Новый домен Amazon OpenSearch Service можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. В консоли также можно изменять или удалять существующие домены Amazon OpenSearch Service.

Вопрос. Поддерживает ли Amazon OpenSearch Service работу с Amazon VPC?

Да, сервис Amazon OpenSearch Service интегрирован с Amazon VPC. При выборе VPC‑доступа домену Amazon OpenSearch Service назначаются IP‑адреса из соответствующего облака VPC. Таким образом весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к доменам Amazon OpenSearch Service можно применять группы безопасности и политики IAM.

Вопрос. Можно ли использовать для выделения доменов Amazon OpenSearch Service шаблоны CloudFormation?

Да. AWS CloudFormation поддерживает Amazon OpenSearch Service. Дополнительную информацию см. в документации CloudFormation Template Reference.

Вопрос. Поддерживает ли Amazon OpenSearch Service настройку выделенных ведущих узлов?

Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.

Вопрос. Можно ли создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service?

Да. Вы можете создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service. Elasticsearch и OpenSearch автоматически распределяет индексы и связанные реплики между инстансами, относящимися к домену.

Вопрос. Как собирать данные в домен Amazon OpenSearch Service?

Amazon OpenSearch Service поддерживает три варианта сбора данных:

  • Для больших объемов данных рекомендуется использовать Amazon Kinesis Data Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может преобразовывать, объединять и сжимать данные перед загрузкой.
  • Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве хранилища данных для всех журналов, поступающих через Logstash.
  • Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch (до версии 7.10) или OpenSearch, такие как index и bulk.

Вопрос. Поддерживает ли Amazon OpenSearch Service интеграцию с Logstash?

Да. Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве серверного хранилища для всех журналов, поступающих из Logstash. При управлении доступом к домену Amazon OpenSearch Service можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP‑адресов инстансов, на которых работает Logstash.

Вопрос. Поддерживает ли Amazon OpenSearch Service интеграцию с Kibana?

Да. Amazon OpenSearch Service предлагает возможности визуализации на базе OpenSearch Dashboards и Kibana (версии с 1.5 до 7.10).

Вопрос. Какие варианты хранилищ доступны для сервиса Amazon OpenSearch Service?

Можно использовать локальное хранилище на инстансах или тома EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличить или уменьшить размеры тома по мере необходимости.

Вопрос. Какие типы томов EBS поддерживает Amazon OpenSearch Service?

Можно использовать тома EBS следующих типов: магнитный, универсальный и том Provisioned IOPS.

Вопрос. Существуют ли лимиты на объем хранилища, выделяемого для домена Amazon OpenSearch Service?

Да. Amazon OpenSearch Service развертывает хранилище на основе выбора инстанса и/или размера связанного тома EBS. Максимальный объем хранилища в узле при использовании инстансов i3.16xlarge составляет 15 ТБ. По умолчанию каждый домен Amazon OpenSearch Service может использовать до 40 узлов данных, поэтому для одного домена можно выделить хранилище объемом около 600 ТБ. Можно запросить увеличение этого лимита сервиса до 200 инстансов на домен, создав заявку в Центре AWS Support Center. При использовании 200 инстансов для одного домена можно выделить около 3 ПБ хранилища.

Вопрос. Как выделенные ведущие инстансы распределяются между зонами доступности (AZ)?

При развертывании инстансов данных в одной AZ выделенные ведущие инстансы развертываются в этой же зоне доступности. Однако при развертывании инстансов данных в двух и более AZ Amazon OpenSearch Service автоматически распределит выделенные ведущие инстансы по всем трем зонам доступности. Исключение будет сделано лишь в том случае, если регион располагает только двумя AZ или для создания выделенных ведущих инстансов выбран тип инстансов прошлого поколения, который доступен не во всех AZ. Дополнительную информацию см. в документации.

Вопрос. Какая конфигурация зон доступности рекомендуется для рабочих развертываний?

Для рабочей среды мы рекомендуем развертывание инстансов данных в трех различных AZ, поскольку это обеспечит более высокую доступность. Помимо этого мы рекомендуем всегда выделять инстансы в количестве, кратном трем, для равномерного распределения по зонам доступности. В регионах, не располагающих тремя зонами доступности, рекомендуется выполнять развертывание в двух AZ с четным количеством инстансов данных. Во всех случаях мы рекомендуем создавать три выделенных ведущих инстанса.

Вопрос. Как настроить домен для развертывания в трех зонах доступности?

Развертывание в трех зонах доступности, как для существующих, так и для вновь созданных доменов, можно настроить с помощью Консоли AWS, интерфейса командной строки или SDK. Дополнительную информацию см. в документации.

Вопрос. Предусмотрена ли плата за развертывание в трех зонах доступности?

Нет, плата за развертывание в трех зонах доступности в Amazon OpenSearch Service не начисляется. Оплате подлежит только количество инстансов в домене, а не количество зон доступности, в которых выполнено их развертывание.

Вопрос. Я больше не вижу настройки Zone Awareness в своей консоли. Означает ли это, что мой домен больше не может ее использовать?

Все домены, настроенные для развертывания в нескольких зонах доступности, используют возможность Zone Awareness, чтобы гарантировать распределение сегментов между различными AZ. В консоли теперь можно целенаправленно указать желаемый тип развертывания: в двух или трех AZ. Домены, которые ранее были настроены прежде с использованием возможности Zone Awareness, будут развертываться в двух зонах доступности, пока владелец не изменит конфигурацию. Дополнительную информацию см. в документации.

Вопрос. Как Amazon OpenSearch Service обрабатывает отказы инстансов и сбои зон доступности?

Если один или несколько инстансов в AZ недоступны или не работают, Amazon OpenSearch Service автоматически попытается запустить новые инстансы в той же зоне доступности, чтобы заменить отказавшие. В крайне редком случае, когда новые инстансы невозможно запустить в той же зоне доступности, Amazon OpenSearch Service запустит их в других доступных AZ, если домен был настроен для развертывания инстансов в нескольких зонах доступности. Как только проблема с зонами доступности будет решена, Amazon OpenSearch Service равномерно распределит инстансы между AZ, настроенными на использование с данным доменом. Дополнительную информацию см. в документации.

Вопрос. Если я применяю в домене только одну реплику для индексов, следует ли мне использовать две или три зоны доступности?

Мы рекомендуем использовать три зоны доступности даже при настройке единственной реплики. Если сбой AZ произойдет в домене с тремя зонами доступности, вы потеряете лишь треть объема своих ресурсов, но в случае сбоя в домене с двумя AZ потери составят уже половину доступных ресурсов, что представляет собой гораздо более серьезную проблему. Кроме того, если сбой доступности произойдет в домене с тремя AZ, Amazon OpenSearch Service сможет использовать две оставшихся зоны для поддержки репликации между несколькими зонами доступности. При сбое в домене с двумя AZ репликация между различными зонами будет нарушена, что еще сильнее ограничит доступность инстансов. Дополнительную информацию см. в документации.

Вопрос. Как использовать преимущества развертывания в трех зонах доступности для домена в VPC?

Количество зон доступности, в которых развернут домен, соответствует числу подсетей, сконфигурированных для работы домена в VPC. Для развертывания в трех зонах доступности необходимо настроить в VPC домена как минимум три подсети. Дополнительную информацию о настройке VPC см. в документации.

Администрирование

Вопрос. Могут ли программы, работающие на серверах в локальном ЦОД, получить доступ к доменам Amazon OpenSearch Service?

Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon OpenSearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, можно также использовать VPC‑доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon OpenSearch Service. Подробнее о подписании запросов см. по ссылке.

Вопрос. Как перенести данные из существующего кластера Elasticsearch / OpenSearch в новый домен Amazon OpenSearch Service?

Чтобы перенести данные из существующего кластера Elasticsearch или OpenSearch, нужно создать снимок состояния этого кластера и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon OpenSearch Service и загрузить в него данные из снимка состояния с помощью API восстановления.

Вопрос. Как выполняется масштабирование домена Amazon OpenSearch Service?

Amazon OpenSearch Service позволяет управлять процессом масштабирования доменов Amazon OpenSearch Service с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon OpenSearch Service выполняется путем добавления, удаления или изменения инстансов или томов хранилища в соответствии с потребностями приложения. Сервис Amazon OpenSearch Service интегрирован с Amazon CloudWatch, благодаря чему можно отслеживать состояние доменов Amazon OpenSearch Service с помощью метрик. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.

Вопрос. Возникают ли перерывы в работе сервиса при масштабировании домена Amazon OpenSearch Service?

Нет. Масштабирование домена Amazon OpenSearch Service посредством добавления или изменения инстансов и томов хранилища выполняется в процессе работы и не требует остановки сервиса.

Вопрос. Поддерживает ли Amazon OpenSearch Service репликацию в различных зонах доступности?

Да. В случае использования реплик для индексов OpenSearch / Elasticsearch и развертывания в нескольких зонах доступности Amazon OpenSearch Service автоматически распределит основные и реплицированные сегменты по инстансам, размещенным в разных зонах доступности.

Вопрос. Передает ли Amazon OpenSearch Service какие‑либо метрики производительности в Amazon CloudWatch?

Да. Amazon OpenSearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.

Вопрос. Мне необходимо выполнить анализ безопасности или устранить неполадки в работе существующего развертывания Amazon OpenSearch Service. Можно ли просмотреть историю всех вызовов API сервиса Amazon OpenSearch Service в аккаунте?

Да. AWS CloudTrail – это веб‑сервис, который записывает вызовы API AWS для аккаунта и предоставляет файлы журналов. История вызовов API AWS в AWS CloudTrail позволяет проводить анализ безопасности и аудит соответствия, а также отслеживать изменения ресурсов. Подробнее о сервисе CloudTrail см. на странице сведений об AWS CloudTrail. Включить его можно на главной странице CloudTrail в Консоли управления AWS.

Вопрос. Что такое снимок состояния?

Снимок состояния – это копия домена Amazon OpenSearch Service, созданная на определенный момент времени.

Вопрос. Зачем нужны снимки состояния?

Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon OpenSearch Service с уже загруженными данными или создания нового домена Amazon OpenSearch Service с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния хранятся в Amazon S3.

Вопрос. Может ли Amazon OpenSearch Service создавать снимки состояния автоматически?

Да. По умолчанию Amazon OpenSearch Service создает автоматические снимки состояния каждого домена Amazon OpenSearch Service каждый час и хранит их в течение 14 дней.

Вопрос. Как долго в Amazon OpenSearch Service хранятся почасовые автоматические снимки состояния?

Amazon OpenSearch Service хранит почасовые автоматические снимки состояния за последние 14 дней.

Вопрос. Взимается ли плата за создание ежедневных почасовых автоматических снимков состояния?

Плата за создание почасовых автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon OpenSearch Service. Ими можно воспользоваться для восстановления узлов.

Вопрос. Можно ли при необходимости создавать дополнительные снимки состояния доменов Amazon OpenSearch Service?

Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon OpenSearch Service, можно использовать API снимков состояния. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам Amazon S3.

Вопрос. Можно ли использовать снимки состояния, созданные вручную, для восстановления домена в случае сбоя?

Да. Создать новый домен Amazon OpenSearch Service и загрузить данные из снимка состояния в новый домен Amazon OpenSearch Service можно с помощью API восстановления Elasticsearch / OpenSearch.

Вопрос. Что произойдет со снимками состояния, когда домен Amazon OpenSearch Service будет удален?

Ежедневные снимки состояния, сохраненные сервисом Amazon OpenSearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon OpenSearch Service.

Вопрос. Какие типы журналов OpenSearch / Elasticsearch предоставляет Amazon OpenSearch Service?

Amazon OpenSearch Service предоставляет три типа журналов Elasticsearch или OpenSearch через Amazon CloudWatch Logs: журналы ошибок, журналы медленных запросов для операций поиска и журналы медленных запросов для операций индексирования. Эти журналы позволяют находить и устранять проблемы с производительностью и стабильностью в домене.

Вопрос. Что такое журналы медленных запросов?

Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. OpenSearch и Elasticsearch предоставляет два вида журналов медленных запросов:

  • Журналы медленных запросов для операций индексирования содержат подробные данные о процессе индексирования. Их можно использовать для оптимизации настроек индексирования.
  • Журналы медленных запросов для операций поиска содержат данные о скорости выполнения запросов и извлечения данных. С их помощью можно оптимизировать выполнение любых операций поиска в OpenSearch или Elasticsearch.

Подробнее о журналах медленных запросов см. в документации OpenSearch.

Вопрос. Как включить журналы медленных запросов в Amazon OpenSearch Service?

Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос. Можно ли включить журналы медленных запросов для определенных индексов?

Да. Можно включить или отключить журналы медленных запросов для определенного индекса в его настройках. Подробнее см. в документации.

Вопрос. Происходит ли при включении журналов медленных запросов в Amazon OpenSearch Service автоматическое включение журналов для всех индексов?

Нет. Включение журналов медленных запросов в Amazon OpenSearch Service предоставляет возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос. Если отключить журналы медленных запросов в Amazon OpenSearch Service, прекратится ли создание файлов журналов?

Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос. Можно ли изменить степень детализации при ведении журналов?

Степень детализации при ведении журналов можно изменять только для журналов медленных запросов. OpenSearch и Elasticsearch поддерживают несколько уровней ведения журналов медленных запросов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации OpenSearch.

Вопрос. Приведет ли включение журналов медленных запросов или журналов ошибок к дополнительным затратам?

При включении журналов медленных запросов или журналов ошибок Amazon OpenSearch Service начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon OpenSearch Service не взимает плату за включение журналов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.

Вопрос. Какие типы журналов ошибок предоставляет Amazon OpenSearch Service?

OpenSearch использует Apache Log4j 2 и собственные уровни журналов (в порядке возрастания степени серьезности ошибки): TRACE, DEBUG, INFO, WARN, ERROR и FATAL. При включении журналов ошибок Amazon OpenSearch Service публикует строки журналов со статусом WARN, ERROR и FATAL и некоторых ошибок уровня DEBUG в CloudWatch. Дополнительную информацию см. в документации.

Вопрос. Как включить журналы ошибок в Amazon OpenSearch Service?

Журналы ошибок можно включить за один щелчок мышью в консоли AWS, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос. Можно ли включить журналы ошибок только для определенных индексов?

Нет, журналы ошибок предоставляются для всего домена. Это значит, что при включении журналов станут доступны записи из всех индексов домена.

Вопрос. Для всех ли версий Elasticsearch, поддерживаемых Amazon OpenSearch Service, доступны журналы ошибок?

Нет, журналы ошибок доступны только для Elasticsearch версии 5.x и новее.

Вопрос. Существует ли ограничение по длине записей в журнале?

Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.

Вопрос. Каковы рекомендации по использованию журналов медленных запросов?

Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Подробнее см. в документации.

Вопрос. Как получить журналы из CloudWatch Logs?

CloudWatch предлагает множество способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.

Вопрос. Для всех ли версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service, доступны журналы медленных запросов?

Да. Журналы медленных запросов можно включить для всех версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service. Однако для каждой версии Elasticsearch существуют некоторые отличия в способе настройки параметров журнала. Подробнее см. в документации.

Вопрос. Приводит ли включение или выключение ведения журналов к перебоям в работе кластера?

Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала происходит не мгновенно.

Вопрос. Какие версии Elasticsearch и OpenSearch поддерживают местное обновление?

В настоящее время Amazon OpenSearch Service поддерживает местное обновление версии для доменов с любой версией OpenSearch и Elasticsearch версий 5.x и выше. При обновлениях поддерживаются следующие целевые версии: 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1, 7.4, 7.7, 7.8, 7.9 и 7.10. Дополнительную информацию см. в документации.

Вопрос. В домене используется Elasticsearch версии ниже 5.x. Как обновить такой домен?

Подробнее о миграции с различных версий Elasticsearch см. в документации.

Вопрос. Будет ли домен недоступен при выполнении местного обновления?

Нет. В ходе обновления домен остается доступным. Однако часть процесса обновления предполагает перемещение сегментов, и это может сказаться на производительности домена. Обновление рекомендуется проводить при низкой нагрузке на домен.

Вопрос. Как проверить возможность обновления версии Elasticsearch, используемой в домене?

Местное обновление версии доступно только для доменов, в которых используется Elasticsearch версии 5.x и новее. Если в домене используется версия 5.x или новее, можно выполнить проверку наличия обновления, которая покажет, можно ли обновить домен до требуемой версии. Подробнее см. в документации.

Вопрос. Какие тесты проводит Amazon OpenSearch Service, чтобы определить возможность обновления доменов?

Подробный список тестов, проводимых для определения наличия обновления, см. в документации.

Вопрос. Можно ли изменять конфигурацию домена в ходе обновления версии?

Нет. После запуска местного обновления версии вносить изменения в конфигурацию домена нельзя, пока процесс обновления не завершится или не произойдет его сбой. В ходе обновления можно считывать и записывать данные. Кроме того, можно удалить домен. Это приведет к прекращению обновления и удалению домена.

Вопрос. Что происходит с автоматически создаваемым снимком состояния системы в ходе местного обновления версии?

Перед обновлением версии автоматически создается снимок состояния системы. Обновление начинается только в случае успешного создания снимка. Если время начала автоматического создания снимка состояния наступает в ходе обновления, снимок в этот день не создается и переносится на следующий.

Вопрос. Какие меры принимает Amazon OpenSearch Service на случай ошибок, которые могут внезапно возникнуть в ходе обновления версии?

Перед запуском процесса обновления Amazon OpenSearch Service выполняет набор тестов для поиска известных проблем, которые могут препятствовать обновлению. Если проблемы не обнаружены, сервис создает снимок состояния домена и запускает процесс обновления в случае успешного создания снимка. Процесс обновления не начинается, если на каком‑либо этапе обнаруживаются ошибки.

Вопрос. Что происходит при обнаружении ошибок в системе в ходе местного обновления версии?

Если обнаруженные ошибки незначительны и могут быть исправлены, Amazon OpenSearch Service автоматически предпринимает попытку исправить их и возобновить обновление. Однако если ошибка препятствует обновлению, сервис возвращается к снимку состояния, созданному перед обновлением, и фиксирует ошибку в журнале. Подробнее о просмотре журналов, созданных в ходе обновления, см. в документации.

Вопрос. Можно ли просмотреть историю обновлений домена?

Да. Журналы обновления можно просмотреть в консоли AWS. Их также можно запросить с помощью интерфейса командной строки или пакетов SDK. Подробнее см. в документации.

Вопрос. Можно ли приостановить или отменить обновление версии после его запуска?

Нет. После запуска обновление нельзя приостановить или отменить. Оно будет выполняться до завершения или пока не произойдет сбой.

Вопрос. Можно ли выполнять местное обновление версии в нескольких доменах одновременно?

Да. Однако чтобы для всех доменов сохранялась одна версия, рекомендуется выполнить проверку наличия обновления во всех доменах, прежде чем обновлять их. Этот дополнительный этап помогает обнаружить ошибки в домене, которые могут отсутствовать в других.

Вопрос. Сколько времени занимает местное обновление версии?

В зависимости от объема данных и размера кластера обновления могут занимать от нескольких минут до нескольких часов.

Вопрос. Можно ли просто обновить версию домена, не сохраняя данные?

Нет. В ходе местного обновления версии предусмотрено восстановление всех данных в кластере. Чтобы обновить только домен, можно сделать снимок данных, удалить все индексы из домена и затем запустить местное обновление версии. Как вариант, можно создать отдельный домен с более новой версией, после чего восстановить данные в этот домен.

Вопрос. Можно ли выполнить возврат к более ранней версии, если новая версия не устраивает?

Нет. Если вам необходимо перейти на более старую версию, обратитесь в службу поддержки AWS Support для восстановления автоматического снимка состояния, сделанного до обновления, на новом домене. Если снимок состояния исходного домена был сделан вручную, вы можете выполнить восстановление самостоятельно.

Безопасность

Вопрос. Как обеспечить безопасность домена Amazon OpenSearch Service?

Amazon OpenSearch Service включает ряд функций обеспечения безопасности, соответствует требованиям закона «О перемещаемости и подотчетности страхования здоровья» (HIPAA), а также стандартам PCI DSS, SOC, ISO и FedRamp. Благодаря этому вы можете удовлетворить свои потребности в безопасности и соответствии требованиям. Доступом к API управления Amazon OpenSearch Service для ряда операций, например операций создания и масштабирования доменов, управляют политики AWS Identity and Access Management (IAM).

Домены Amazon OpenSearch Service можно настроить таким образом, чтобы они были доступны с помощью адреса в вашем VPC или общедоступного адреса, доступ к которому можно получить через Интернет. Для управления доступом к сети для адресов VPC используются группы безопасности, а для общедоступных адресов доступ можно предоставлять или ограничивать по IP-адресам.

Помимо функций управления доступом на основе сети в Amazon OpenSearch Service имеются средства аутентификации пользователей с помощью IAM и базовые средства аутентификации, для которых применяются имена пользователей и пароли. Авторизацию можно предоставить на уровне домена (через политики доступа к доменам), а также на уровне индекса, документа и поля (с помощью функции точного управления доступом на платформе OpenSearch). Кроме того, функция точного управления доступом дополняет возможности OpenSearch Dashboards и Kibana представлениями, предназначенными только для чтения, и безопасной поддержкой нескольких пользователей.

Amazon OpenSearch Service также поддерживает интеграцию с Amazon Cognito, благодаря чему ваши конечные пользователи могут выполнять вход в OpenSearch Dashboards и Kibana через корпоративных поставщиков удостоверений, например Microsoft Active Directory, с использованием SAML 2.0, Amazon Cognito User Pools и многих других. После входа в систему сервис Amazon Cognito создает сеанс с помощью соответствующего принципала IAM, который предоставляет доступ к домену Amazon OpenSearch Service. Затем эти принципалы IAM можно использовать с функцией точного управления доступом на платформе OpenSearch.

Вопрос. Как работают средства безопасной аутентификации и авторизации в Amazon OpenSearch Service?

Система безопасности Amazon OpenSearch Service имеет три основных уровня: сеть, политики доступа к домену и точное управление доступом. Первый уровень обеспечения безопасности – сеть. Она определяет, какие запросы достигнут домена. Мы поддерживаем общий доступ через Интернет или доступ через VPC, ограниченный определенными группами безопасности в вашем VPC. Второй уровень обеспечения безопасности – политика доступа к домену. После того как запрос достигает адреса домена, политика доступа к домену разрешает или запрещает доступ запроса к заданному URL. Политика доступа к домену принимает или отклоняет запросы на границе домена, прежде чем они достигнут OpenSearch / Elasticsearch. Третий и последний уровень обеспечения безопасности – точное управление доступом. После того как политика доступа к домену разрешит запросу достичь адреса домена, функция точного управления доступом оценивает данные пользователя для доступа и либо выполняет аутентификацию пользователя, либо отклоняет запрос. Если функция точного управления доступом выполняет аутентификацию пользователя, она получает сведения обо всех ролях, сопоставленных с этим пользователем, и использует полный набор разрешений, чтобы определять, к каким данным у пользователя есть доступ.

Вопрос. Поддерживает ли Amazon OpenSearch Service шифрование?

Да, Amazon OpenSearch Service поддерживает шифрование данных, находящихся в покое, с помощью сервиса AWS Key Management Service (KMS), шифрование меду узлами через протокол TLS и возможность требовать от клиентов, чтобы они обменивались данными по протоколу HTTPS. Функция шифрования данных, находящихся в покое, шифрует сегменты, файлы журналов, файлы подкачки и автоматизированные снимки состояния S3. Вы можете использовать ключи, управляемые AWS, либо выбрать собственный ключ. Функция шифрования между узлами позволяет использовать протокол TLS для обмена всеми данными между узлами. Amazon OpenSearch Service автоматически развертывает сертификаты и выполняет их ротацию в течение срока жизни домена. Если вы требуете от своих клиентов обмениваться данными через HTTPS, у вас также имеется возможность указать минимальную версию TLS.

Вопрос. Как получить доступ к OpenSearch Dashboards и Kibana при использовании VPC‑доступа для домена Amazon OpenSearch Service?

Если настроен VPC‑доступ, адрес сервера Amazon OpenSearch Service доступен только в пределах соответствующего облака VPC. Для доступа к OpenSearch Dashboards и Kibana с компьютера, находящегося за пределами VPC, необходимо подключить этот компьютер к облаку VPC с помощью VPN или VPC Direct Connect.

Цены

Цены на инстансы по требованию

Вопрос. Каков принцип оплаты сервиса Amazon OpenSearch Service?

Вы платите только за то, чем пользуетесь, без минимальной оплаты или начальных взносов. Плата начисляется на основании следующих параметров.

  • Часы использования инстанса Amazon OpenSearch Service – в зависимости от класса использованного инстанса Amazon OpenSearch Service (стандартный Small, Large или Extra Large). Неполные часы использования инстанса Amazon OpenSearch Service оплачиваются как полные.
  • Хранилище (за каждый гигабайт в месяц) – объем хранилища Amazon EBS, выделенного для инстанса Amazon OpenSearch Service. Если в течение месяца выполнялось масштабирование выделенных ресурсов хранилища, стоимость будет пересчитана пропорционально.
  • Выделенный объем Provisioned IOPS в месяц – выделенный объем IOPS для хранилища Amazon EBS, независимо от потребленного объема IOPS. Применимо только для хранилища Amazon OpenSearch Service с выделенным объемом Provisioned IOPS (SSD).
  • Передача данных – взимается стандартная плата за передачу данных AWS.

Сведения о ценах см. на странице цен сервиса Amazon OpenSearch Service.

Вопрос. Когда начинается и когда заканчивается начисление платы за домен Amazon OpenSearch Service?

Плата за использование инстанса Amazon OpenSearch Service начинает взиматься, как только он становится доступным. Плата перестает начисляться после остановки работы инстанса Amazon OpenSearch Service, что может произойти либо в случае удаления инстанса, либо при сбое в работе инстанса.

Вопрос. Как определяются часы использования инстанса Amazon OpenSearch Service, подлежащие оплате?

Оплате подлежит каждый час, в течение которого инстанс Amazon OpenSearch Service работает и доступен. Чтобы не оплачивать дополнительные часы использования инстанса Amazon OpenSearch Service, который больше не нужен, необходимо удалить домен. Неполные часы использования инстанса Amazon OpenSearch Service оплачиваются как полные.

Цены на зарезервированные инстансы

Вопрос. Что такое зарезервированный инстанс?

Зарезервированные инстансы Amazon OpenSearch Service – это возможность зарезервировать инстанс на один или три года и взамен получить значительную скидку по сравнению со стоимостью инстансов по требованию.

Вопрос. Чем отличаются зарезервированные инстансы от инстансов по требованию?

Функциональные возможности зарезервированных инстансов и инстансов по требованию абсолютно одинаковы. Единственное отличие состоит в способе начисления платы за использование инстансов. При использовании зарезервированных инстансов вы резервируете ресурсы сроком на один или три года и получаете более низкий почасовой тариф (по сравнению с инстансами по требованию) на весь срок резервирования. Если зарезервированные инстансы в каком‑либо регионе не приобретены, все инстансы в этом регионе подлежат оплате на основании почасового тарифа для инстансов по требованию.

Вопрос. Какие существуют варианты оплаты зарезервированных инстансов?

Доступны три варианта оплаты.

  • Зарезервированные инстансы без предоплаты (NURI) обеспечивают значительную экономию по сравнению с ценами на инстансы по требованию. Вы не вносите предоплату, но обязуетесь оплачивать зарезервированный инстанс в течение одного или трех лет.
  • Зарезервированные инстансы с частичной предоплатой (PURI) обеспечивают большую экономию по сравнению с NURI. Вы вносите частичную предоплату, а остальную сумму оплачиваете на протяжении всего срока резервирования. Этот вариант позволяет оптимально распределить авансовые платежи и почасовую оплату.
  • Зарезервированные инстансы с полной предоплатой (AURI) обеспечивают максимальную экономию среди всех вариантов оплаты зарезервированных инстансов. Вы полностью оплачиваете все зарезервированные ресурсы, внося разовую предоплату, при этом почасовую плату не вносите.

Вопрос. Как приобрести зарезервированные инстансы?

Зарезервированные инстансы приобретаются в разделе «Reserved Instance» (Зарезервированные инстансы) Консоли управления AWS для сервиса Amazon OpenSearch Service. Кроме того, для просмотра и приобретения зарезервированных инстансов можно использовать API сервиса Amazon OpenSearch Service или интерфейс командной строки AWS.

После покупки зарезервированный инстанс можно использовать так же, как и инстанс по требованию. Если резервирование активно, Amazon OpenSearch Service будет применять к инстансу сниженный почасовой тариф.

Вопрос. Зависят ли зарезервированные инстансы от зоны доступности?

Зарезервированные инстансы Amazon OpenSearch Service приобретаются для региона, а не для конкретной зоны доступности. После покупки зарезервированного инстанса для какого‑либо региона скидка будет применяться для соответствующего использования в любой зоне доступности в этом регионе.

Вопрос. Сколько зарезервированных инстансов можно приобрести?

За одну покупку можно приобрести до 100 зарезервированных инстансов. Если требуется больше зарезервированных инстансов, нужно разместить несколько запросов на покупку.

Вопрос. Резервируются ли ресурсы для зарезервированных инстансов?

Зарезервированные инстансы Amazon OpenSearch Service приобретаются для региона, а не для конкретной зоны доступности. Соответственно, ресурсы для них не резервируются. Даже если в конкретной зоне доступности ресурсы ограничены, зарезервированные инстансы можно приобрести в рамках региона. При этом скидка будет применяться для соответствующего использования в любой зоне доступности в этом регионе.

Вопрос. Можно ли преобразовать существующий инстанс по требованию в зарезервированный инстанс?

Просто приобретите зарезервированный инстанс того же типа, что и существующий инстанс по требованию. В случае успешной покупки зарезервированного инстанса Amazon OpenSearch Service автоматически применит новый пониженный почасовой тариф на время резервирования.

Вопрос. Какой момент считается началом срока резервирования при регистрации для получения зарезервированного инстанса? Что произойдет с зарезервированными инстансами после окончания срока резервирования?

Изменения тарифов и срока резервирования, связанные с зарезервированным инстансом, произойдут сразу после получения запроса и обработки платежа. Если разовый платеж (когда применимо) или новый почасовой тариф (когда применимо) не удается успешно обработать к началу следующего расчетного периода, тариф со скидкой не применяется, при этом отсчет срока резервирования не начинается. Следить за статусом резервирования можно с помощью консоли, API или интерфейса командной строки. Дополнительную информацию см. в документации.

По истечении срока резервирования за использование зарезервированного инстанса будет начисляться почасовая плата как за инстанс по требованию согласно классу инстанса и региону.

Вопрос. Как указать, какие из инстансов будут оплачиваться по тарифу зарезервированных инстансов?

При выставлении счета наша система автоматически применяет тарифы зарезервированных инстансов, чтобы соответствующие инстансы оплачивались по более низкому почасовому тарифу зарезервированных инстансов. Amazon OpenSearch Service не разделяет инстансы по требованию и зарезервированные инстансы при работе с доменами Amazon OpenSearch Service.

Вопрос. Что произойдет с зарезервированным инстансом, если изменить его размер (увеличить или уменьшить его)?

Каждый зарезервированный инстанс связан с тем типом инстанса и регионом, которые были выбраны для него. При изменении типа инстанса в регионе, в котором у вас имеется зарезервированный инстанс, вы не получите скидку. При резервировании необходимо убедиться, что зарезервированный инстанс соответствует типу инстанса, который планируется использовать. Подробнее см. в документации по зарезервированным инстансам Amazon OpenSearch Service.

Вопрос. Можно ли перенести зарезервированный инстанс из одного региона в другой или из одной зоны доступности в другую?

Каждый зарезервированный инстанс связан с определенным регионом. Эта связь сохраняется в течение всего срока резервирования, и ее нельзя изменить. Однако зарезервированный инстанс может использоваться в любой зоне доступности в пределах соответствующего региона.

Вопрос. Возможно ли использование зарезервированных инстансов в нескольких зонах доступности?

Зарезервированный инстанс приобретается для определенного региона AWS и может использоваться в любой зоне доступности в пределах этого региона.

Вопрос. Зарезервированные инстансы можно использовать как для ведущих узлов, так и для узлов данных?

Да. При применении скидки на зарезервированные инстансы сервис Amazon OpenSearch Service не разделяет ведущие узлы и узлы данных.

Вопрос. Возможна ли отмена резервирования инстанса?

Нет. Отменить резервирование инстанса нельзя, при этом внесенный разовый платеж (если взимался) и почасовая плата по тарифу со скидкой (если взималась) не возвращаются. Кроме того, зарезервированный инстанс нельзя перенести в другой аккаунт. Каждый час в течение срока действия зарезервированных инстансов подлежит оплате независимо от использования.

Вопрос. Если зарезервированный инстанс приобретается из аккаунта плательщика (основного аккаунта), будет ли он доступен для всех аккаунтов‑участников?

Да. Цена на зарезервированный инстанс и его применение соответствуют политикам, определенным для консолидированной оплаты в AWS. Подробнее см. по ссылке.

Вопрос. Если AWS снизит цены на инстансы по требованию для Amazon OpenSearch Service, будет ли изменена плата за текущие зарезервированные инстансы?

Нет. Цена на уже приобретенные зарезервированные инстансы не меняется в течение срока резервирования.

Вопрос. Можно ли продать зарезервированные инстансы в магазине зарезервированных инстансов?

Нет. Зарезервированные инстансы, приобретенные в Amazon OpenSearch Service, нельзя продать в магазине зарезервированных инстансов.

Вопрос. Предоставляются ли оптовые скидки при покупке зарезервированных инстансов?

Нет. Оптовые скидки при покупке зарезервированных инстансов Amazon OpenSearch Service не предоставляются.

Соглашение об уровне обслуживания

Вопрос. Что гарантирует соглашение об уровне обслуживания (SLA) сервиса Amazon OpenSearch Service?

Соглашение об уровне обслуживания (SLA) Amazon OpenSearch Service гарантирует бесперебойное ежемесячное время работы сервиса Amazon OpenSearch Service на уровне не менее 99,9 %.

Вопрос. Как узнать, могу ли я претендовать на компенсацию по соглашению об уровне обслуживания?

Вы можете претендовать на компенсацию в рамках SLA для Amazon OpenSearch Service в том случае, если домены Amazon OpenSearch Service, расположенные в нескольких зонах доступности, демонстрируют в течение любого оплаченного месяца время бесперебойной работы на уровне менее 99,9 %.

С условиями и положениями соглашения, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений о соглашении об уровне обслуживания Amazon OpenSearch Service.

UltraWarm

Вопрос. Что такое UltraWarm?

UltraWarm – это полностью управляемое, недорогое хранилище «теплых» данных для Amazon OpenSearch Service. Оно совместимо с OpenSearch, Elasticsearch (до версии 7.10), OpenSearch Dashboards и Kibana (до версии 7.10), что позволяет анализировать данные с помощью инструментов, которые Amazon OpenSearch Service дает уже сейчас. UltraWarm просто интегрируется с существующими возможностями Amazon OpenSearch Service, такими как встроенные предупреждения, SQL‑запросы и многое другое. 

Вопрос. Зачем использовать UltraWarm?

UltraWarm позволяет вам экономически эффективно расширять данные, которые вы хотите проанализировать в Amazon OpenSearch Service, а также получать ценную информацию о данных, которые ранее могли быть удалены или заархивированы. С UltraWarm теперь можно экономично хранить больше своих данных и интерактивно анализировать их в любое время.

Вопрос. Как относится UltraWarm к сервису Amazon OpenSearch Service и как они взаимодействуют?

Сервис Amazon OpenSearch Service поддерживает два уровня интегрированного хранения: хранение «горячих данных» и UltraWarm. Хранилище «горячих данных» питается от узлов данных, которые используются для индексации, обновления и обеспечения самого быстрого доступа к данным. Узлы UltraWarm дополняют хранилище «горячих» данных, предоставляя недорогое хранилище «только для чтения» для старых и менее часто используемых данных.

Вопрос. Почему UltraWarm нужны только первичные данные для прочности?

UltraWarm использует сервис Amazon Simple Storage Service (Amazon S3) для хранения данных, который рассчитан на 99.999999999 процентов прочности и устраняет необходимость в настройке реплики Elasticsearch для ваших «теплых» данных. Кроме того, если у вас есть более одного узла UltraWarm, в случае сбоя узла другие узлы UltraWarm будут автоматически получать доступ к данным по мере необходимости.

Вопрос. Какой объем данных можно хранить в UltraWarm?

UltraWarm поддерживает до 3 ПБ первичных данных. UltraWarm предназначен для того, чтобы вы могли полностью использовать весь объем этого хранилища, а поскольку для обеспечения надежности UltraWarm хранит данные на основе S3, использовать дополнительное хранилище для реплик Elasticsearch не требуется.

Вопрос. Каковы характеристики производительности UltraWarm?

UltraWarm обеспечивает интерактивную работу в OpenSearch Dashboards и Kibana, внедряя детализированное кэширование ввода-вывода, предварительную выборку и оптимизацию подсистемы запросов, чтобы обеспечить производительность, подобную инстансам высокой плотности с использованием локального хранилища.

Вопрос. Как приступить к работе с UltraWarm?

Чтобы начать работу с UltraWarm, создайте новый домен сервиса Amazon OpenSearch Service с включенным UltraWarm с помощью консоли, CLI или API. Как только ваш домен создан, вы можете перемещать контент из хранилища «горячих» данных в UltraWarm с помощью API OpenSearch / Elasticsearch. Подробнее. 

Хранилище «холодных» данных

Вопрос. Что такое хранилище «холодных» данных?

Хранилище «холодных» данных – это полностью управляемый наименее затратный уровень хранения для Amazon OpenSearch Service, с помощью которого можно по запросу безопасно хранить и анализировать ретроспективные журналы. Хранилище «холодных» данных позволяет полностью отделить хранение от вычислений на то время, пока не идет активный анализ данных, и сохранить быстрый доступ к данным при низких затратах. Хранилище «холодных» данных доступно в рамках домена Amazon OpenSearch Service через узел UltraWarm. Хранилище «холодных» данных легко встраивается в OpenSearch и OpenSearch Dashboards, а также в Elasticsearch (версии 7.9, 7.10) и Kibana (версии 7.9, 7.10). Это позволяет анализировать данные с помощью тех же инструментов, которые Amazon OpenSearch Service предоставляет уже сейчас.

Вопрос. Почему мне следует использовать хранилище «холодных» данных?

Хранилище «холодных» данных позволяет вам экономически эффективно расширять данные, которые вы хотите проанализировать в Amazon OpenSearch Service, и получать ценную информацию о данных, которые ранее могли быть удалены или заархивированы. Хранилище «холодных» данных – подходящий инструмент, если необходимо изучить или провести экспертный анализ ваших более старых данных и для этого вы хотите задействовать все возможности Amazon OpenSearch Service по доступной цене. Хранилище «холодных» данных создано для масштабирования и опирается на Amazon S3. Найдите и исследуйте необходимые данные, прикрепите их к узлам UltraWarm в вашем кластере и подготовьте к анализу за считанные секунды. Прикрепленные «холодные» данные подчиняются существующим правилам тщательного контроля доступа, которые ограничивают доступ на уровне индекса, документа и поля.

Вопрос. Как относится хранилище «холодных» данных к сервису Amazon OpenSearch Service и как они взаимодействуют?

Сервис Amazon OpenSearch Service поддерживает три уровня интегрированного хранения: хранилище «горячих данных», UltraWarm и хранилище «холодных» данных. Хранилище «горячих» данных используется для индексации, обновления и обеспечения самого быстрого доступа к данным. UltraWarm обеспечивает плавное расширение «горячего» уровня, предоставляя вычислительные узлы и высокоэффективный интерактивный интерфейс для данных, которые надежно хранятся в Amazon S3 и должны находится в постоянном доступе. В настоящее время UltraWarm поддерживает до 3 ПБ данных в одном домене. Теперь благодаря хранилищу «холодных» данных вы можете открепить неиспользуемые индексы от UltraWarm и освободить вычислительные ресурсы, чтобы снизить затраты. С помощью новых API хранилища «холодных» данных и интерфейса OpenSearch Dashboards и Kibana вы можете быстро находить необходимые для анализа индексы с помощью шаблонов индексов и временных меток данных. После эти данные можно прикрепить к домену и подготовить к анализу за несколько секунд. По окончании анализа просто открепите данные и вновь освободите вычислительные возможности. 

Вопрос. Какой объем данных можно хранить в хранилище «холодных» данных?

Хранилище «холодных» данных создано для масштабирования. В то время как на хранение «горячих» и «теплых» данных действует ограничение в 3 ПБ, в хранилище «холодных» данных можно хранить любой объем.

Вопрос. Каковы характеристики производительности хранилища «холодных» данных?

Хранилище «холодных» данных создано на основе технологии UltraWarm, которая обеспечивает специализированные узлы для хранения данных в Amazon S3 и использует сложное кэширование для поддержки интерактивного взаимодействия. Хранилище «холодных» данных сначала необходимо прикрепить к узлу UltraWarm в вашем домене Amazon OpenSearch Service. После прикрепления запросы к данным будут работать за счет существующих узлов UltraWarm, поддерживающих тот же уровень производительности, что и для «теплых» данных. Если в UltraWarm доступен объем, соответствующий запрашиваемым данным, то прикрепление «холодных» индексов к вашему домену займет несколько секунд. Если потребуется дополнительный объем, добавление узлов UltraWarm может занять несколько минут.

Open Distro for Elasticsearch

Вопрос. Как Open Distro for Elasticsearch связан с Amazon OpenSearch Service?

Проект OpenSearch – это новый дом для Open Distro for Elasticsearch. Amazon OpenSearch Service поддерживает OpenSearch и предлагает возможности, прежде доступные через Open Distro. Например, корпоративная безопасность, предупреждения, машинное обучение, SQL, управление состоянием индекса и многое другое.

Вопрос. Что представляет собой поиск по нескольким кластерам?

Поиск по нескольким кластерам – это возможность Elasticsearch и OpenSearch, которая позволяет выполнять запросы и агрегировать данные на двух подключенных кластерах. Такая возможность обеспечивается путем настройки компактного однонаправленного соединения между участвующими кластерами.

Вопрос. Каковы минимальные требования к домену для участия в поиске по нескольким кластерам?

Домены, участвующие в поиске по нескольким кластерам, должны удовлетворять следующим критериям:

  • Участвующие домены должны использовать OpenSearch или Elasticsearch версии 6.8 или новее
  • На участвующих доменах должно быть включено шифрование данных при передаче
  • На участвующих доменах должен применяться точный контроль доступа (FGAC).
  • При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.

Вопрос. На каких типах инстансов поддерживается поиск по нескольким кластерам?

В настоящий момент поиск по нескольким кластерам поддерживается на следующих типах инстансов.

  • Семейство i2, i3
  • Семейство r3, r4, r5
  • Семейство m4, m5
  • Семейство c4, c5
  • Семейство Graviton

Вопрос. На каких типах инстансов поиск по нескольким кластерам не поддерживается?

Поиск по нескольким кластерам не поддерживается на инстансах семейств t2 и m3 в связи с техническими ограничениями.

Вопрос. Можно ли настроить поиск по нескольким кластерам для доменов из двух разных аккаунтов AWS?

Да. Участвующие домены могут принадлежать двум разным аккаунтам AWS.

Вопрос. Можно ли настроить поиск по нескольким кластерам для доменов из двух разных регионов AWS?

Нет.

Вопрос. Как начать использовать поиск по нескольким кластерам?

Чтобы начать работу с поиском по нескольким кластерам, следуйте документации

Trace Analytics

Вопрос. Что такое Trace Analytics? 

Trace Analytics – это новая функция Amazon OpenSearch Service, которая позволяет разработчикам и ИТ-операторам находить и устранять проблемы с производительностью в распределенных приложениях, сокращая время на решение проблем. Trace Analytics создана на основе проекта Cloud Native Computing Foundation (CNCF) OpenTelemetry, который предоставляет единый набор API, библиотек, агентов и служб сбора данных для сохранения распределенных трассировок и метрик. Это позволяет клиентам применять Trace Analytics без внесения изменений в существующие приложения. Trace Analytics основана на OpenSearch с открытым исходным кодом, который свободно доступен для загрузки и использования.

Вопрос. Для чего нужна Trace Analytics?

Разработчикам и ИТ-операторам Trace Analytics нужна для поиска и устранения проблем с производительностью в распределенных приложениях. Добавляя данные трассировок к уже существующим возможностям Amazon OpenSearch Service по анализу журналов, клиенты смогут в пределах одного сервиса изолировать источники проблем с производительностью и диагностировать их первопричины. Кроме того, благодаря поддержке стандарта OpenTelemetry сервис Trace Analytics поддерживает интеграцию с пакетами SDK двух популярных систем распределенной трассировки с открытым исходным кодом: Jaeger и Zipkin. Это позволяет разработчикам продолжать работу с этими пакетами SDK, не внося никаких изменений в приложений.

Вопрос. Как относится Trace Analytics к сервису Amazon OpenSearch Service и как они взаимодействуют?

Trace Analytics – встроенная функция Amazon OpenSearch Service. Она доступна для всех клиентов без дополнительной оплаты. В Trace Analytics есть пользовательский интерфейс на основе OpenSearch Dashboards и Kibana для визуализации и изучения данных трассировок, в который уже интегрированы такие важные функции Amazon OpenSearch Service, как обнаружение аномалий, выдача предупреждений, точная настройка контроля доступа и безопасность организации. Trace Analytics дополняет собой возможности Amazon OpenSearch Service по поиску и анализу данных журналов при решении проблем с производительностью приложения.

Вопрос. Какие источники данных поддерживает Trace Analytics?

На данный момент Trace Analytics поддерживает сбор трассировок с помощью библиотек приложений и пакетов SDK, совместимых с OpenTelemetry Collector (средство с открытым исходным кодом), в том числе Jaeger, Zipkin и X-Ray. Trace Analytics также интегрирована с дистрибутивом AWS Distro for OpenTelemetry, который содержит API, SDK, агенты и средства сбора для OpenTelemetry. Это мощный и надежный дистрибутив компонентов для OpenTelemetry, который протестирован на использование в рабочей среде и полностью поддерживается AWS. Клиенты могут использовать AWS Distro for OpenTelemetry для сбора трассировок и метрик из многих систем мониторинга, в том числе трассировок из Amazon OpenSearch Service и AWS X-Ray и метрик из Amazon CloudWatch.

Вопрос. Как начать работу с Trace Analytics?

Начать работу с Trace Analytics вам помогут инструкции из этой документации.

Изменение названия

Вопрос. Почему название Amazon Elasticsearch Service сменилось на Amazon OpenSearch Service?

12 апреля 2021 года мы объявили о создании проекта OpenSearch – развиваемой сообществом ветви Elasticsearch и Kibana с открытым исходным кодом. Мы взяли на себя обязательство долгосрочного инвестирования в OpenSearch, чтобы по-прежнему давать пользователям безопасный, высококачественный, полностью открытый набор инструментов поиска и аналитики с насыщенной стратегией новых и инновационных функциональных возможностей. В проект входят OpenSearch (производная Elasticsearch 7.10.2) и OpenSearch Dashboards (производная Kibana 7.10.2). 12 июля 2021 года мы запустили OpenSearch версии 1.0. В рамках нашего долгосрочного взаимодействия с OpenSearch 7 сентября 2021 года мы добавили в управляемый сервис поддержку OpenSearch 1.0 и изменили название с Amazon Elasticsearch Service на Amazon OpenSearch Service. Наряду с OpenSearch 1.0 мы по-прежнему поддерживаем устаревшие версии Elasticsearch до 7.10. Вы можете быть уверены, что изменилось лишь название. Мы стремимся все также предоставлять услуги отличного качества без какого-либо влияния на текущие операции, методы разработки или работу с бизнесом. Узнайте больше об OpenSearch на странице https://opensearch.org/.

Вопрос. Необходимо ли мне, как клиенту, предпринимать какие-либо действия из-за изменения названия?

Мы хотели провести смену названия как можно более безболезненно для вас. Есть аспекты, требующие ваших действий для получения максимальной пользы от сервиса. Например, новые SDK / конфигурации API. Несмотря на то, что существующий SDK будет совместим и продолжит работать, любая новая функциональная возможность, требующая обновленной конфигурации API, будет реализована только в новом SDK. Поэтому мы рекомендуем на него перейти. Кроме того, независимо от нового пакета SDK, мы настоятельно рекомендуем вам переместить существующие политики IAM, чтобы использовать переименованные конфигурации API. На данный момент ваши текущие политики IAM работают со старым определением API. Тем не менее, мы перейдем на новую проверку разрешений на базе API и в конечном итоге потребуем от вас использования новых API в политиках (в частности, для тех API, в которых меняется название; например, CreateElasticsearchDomain для CreateDomain). Подробнее см. в документации.

Вопрос. Нужно ли мне переходить на новый SDK для обновления до OpenSearch 1.0?

Нет. Мы позаботимся, с учетом обратной совместимости, о том, чтобы ваши текущие настройки продолжали работать с OpenSearch 1.0. Тем не менее, как упоминалось выше, мы рекомендуем в дальнейшем перейти на последнюю версию SDK для более четкой работы на современном уровне.

Вопрос. Есть ли какие-либо изменения в ценообразовании в связи со сменой названия?

Нет, ценообразование не меняется.

Подробнее о ценах на Amazon OpenSearch Service

Перейти на страницу цен
Готовы приступить к разработке?
Начало работы с Amazon OpenSearch Service
Есть вопросы?
Свяжитесь с нами