Общие вопросы

Вопрос: Что такое Amazon Elasticsearch Service?

Amazon Elasticsearch Service – это управляемый сервис, который упрощает развертывание, эксплуатацию и масштабирование кластеров Elasticsearch в облаке AWS.

Вопрос. Какая версия Elasticsearch поддерживается в Amazon Elasticsearch Service?

Amazon Elasticsearch Service в настоящее время поддерживает Elasticsearch версий 7.4, 7.1, 6.8, 6.7, 6.5, 6.4, 6.3, 6.2, 6.0, 5.6, 5.5, 5.3, 5.1, 2.3 и 1.5.

Вопрос. Что такое домен Amazon Elasticsearch Service?

Домены Amazon Elasticsearch Service – это кластеры Elasticsearch, созданные с помощью консоли Amazon Elasticsearch Service, интерфейса командной строки или API. Каждый из доменов представляет собой кластер Elasticsearch в облаке с вычислительными ресурсами и объемом хранилища, заданными клиентом. Сервис позволяет создавать и удалять домены, задавать атрибуты их инфраструктуры, а также управлять безопасностью и настройками доступа. Можно использовать один или несколько доменов Amazon Elasticsearch Service.

Вопрос: Какие виды управления берет на себя Amazon Elasticsearch Service?

Amazon Elasticsearch Service управляет операциями, связанными с настройкой домена: от выделения запрашиваемых инфраструктурных ресурсов в сетевой среде до установки программного обеспечения Elasticsearch. Когда домен уже работает, Amazon Elasticsearch Service позволяет автоматизировать стандартные задачи администрирования, такие как резервное копирование данных, мониторинг инстансов и установка исправлений ПО. Сервис Amazon Elasticsearch Service интегрирован с сервисом Amazon CloudWatch, что позволяет отслеживать состояние доменов с помощью соответствующих метрик. Кроме того, Amazon Elasticsearch Service позволяет изменять настройки хранилища и инстанса домена, тем самым упрощая процесс адаптации домена к потребностям приложения.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интерфейсы API Elasticsearch с открытым исходным кодом?

Amazon Elasticsearch Service поддерживает большинство распространенных интерфейсов API Elasticsearch, поэтому код, приложения и популярные инструменты, которые используются в существующих средах Elasticsearch, будут работать без изменений. Полный перечень поддерживаемых операций Elasticsearch см. в документации.

Вопрос: Какие варианты развертывания предусмотрены для Amazon Elasticsearch Service в отношении зон доступности (AZ)?

Amazon Elasticsearch Service предлагает клиентам возможность развертывания инстансов в одной, двух или трех зонах доступности (AZ). Для рабочих нагрузок, связанных с разработкой или тестированием, можно выбрать развертывание в одной AZ. При запуске процессов в рабочей среде рекомендуется выбирать варианты развертывания в двух или трех AZ. Для рабочих нагрузок с повышенными требованиям к доступности настоятельно рекомендуется применять развертывание в трех AZ.

Примечание. Вариант с развертыванием в трех зонах доступности доступен только в регионах, где существует не менее трех зон доступности.

Вопрос: В каких регионах Amazon Elasticsearch Service предоставляет возможность развертывания в трех зонах доступности?

Amazon Elasticsearch Service поддерживает развертывание в трех зонах доступности в следующих регионах: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), ЕС (Ирландия, Франкфурт, Лондон, Париж), Китай (Нинся), Азия и Тихий океан (Сингапур, Сидней, Токио).

Настройка и конфигурирование

Вопрос: Можно ли использовать для создания или изменения доменов консоль Amazon Elasticsearch Service?

Да. Новый домен Amazon Elasticsearch Service можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. В консоли также можно изменять или удалять существующие домены Amazon Elasticsearch Service.

Вопрос: Поддерживает ли Amazon Elasticsearch Service работу с Amazon VPC?

Да, сервис Amazon Elasticsearch Service интегрирован с Amazon VPC. При выборе VPC‑доступа домену Amazon Elasticsearch Service назначаются IP‑адреса из соответствующего облака VPC. Таким образом весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к доменам Amazon Elasticsearch Service можно применять группы безопасности и политики IAM.

Вопрос: Можно ли использовать для выделения доменов Amazon Elasticsearch Service шаблоны CloudFormation?

Да. AWS CloudFormation поддерживает Amazon Elasticsearch Service. Дополнительную информацию см. в документации CloudFormation Template Reference.

Вопрос: Поддерживает ли Amazon Elasticsearch Service настройку выделенных ведущих узлов?

Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.

Вопрос: Можно ли создать несколько индексов Elasticsearch в рамках одного домена Amazon Elasticsearch Service?

Да. В рамках одного домена Amazon Elasticsearch Service можно создавать несколько индексов Elasticsearch. Elasticsearch автоматически распределяет индексы и связанные реплики между инстансами, относящимися к домену.

Вопрос: Как собирать данные в домен Amazon Elasticsearch Service?

Amazon Elasticsearch Service поддерживает три варианта сбора данных.

  • Для больших объемов данных рекомендуется использовать Amazon Kinesis Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может преобразовывать, объединять и сжимать данные перед загрузкой.
  • Amazon Elasticsearch Service поддерживает интеграцию с Logstash. Домен Amazon Elasticsearch Service можно настроить в качестве хранилища данных для всех журналов, поступающих через Logstash.
  • Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch, такие как index и bulk.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интеграцию с Logstash?

Да. Amazon Elasticsearch Service поддерживает интеграцию с Logstash. Домен Amazon Elasticsearch Service можно настроить в качестве серверного хранилища для всех журналов, поступающих из Logstash. При управлении доступом к домену Amazon Elasticsearch Service можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP‑адресов инстансов, на которых работает Logstash.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интеграцию с Kibana?

Да. Amazon Elasticsearch Service включает встроенную платформу Kibana, которая развертывается вместе с доменом Amazon Elasticsearch.

Вопрос: Можно ли создавать пользовательские отчеты с помощью платформы Kibana, включенной в Amazon Elasticsearch Service?

Да. Kibana поддерживает создание и сохранение индивидуально настроенных отчетов через пользовательский интерфейс. Подробнее об использовании платформы Kibana см. в документации Kibana.

Вопрос: Какие варианты хранилищ доступны для сервиса Amazon Elasticsearch Service?

Можно использовать локальное хранилище на инстансах или тома EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличить или уменьшить размеры тома по мере необходимости.

Вопрос: Какие типы томов EBS поддерживает Amazon Elasticsearch Service?

Можно использовать тома EBS следующих типов: магнитный, универсальный и том Provisioned IOPS.

Вопрос: Существуют ли лимиты на объем хранилища EBS, выделяемого для домена Amazon Elasticsearch Service?

Да. Amazon Elasticsearch Service поддерживает выделение одного тома EBS (максимальный объем – 1,5 ТБ) на каждый инстанс, связанный с доменом. По умолчанию каждый домен Amazon Elasticsearch Service может использовать до 20 узлов данных, поэтому для одного домена можно выделить хранилище EBS объемом около 30 ТБ. Можно запросить увеличение этого лимита сервиса до 200 инстансов на домен, создав заявку в Центре AWS Support. При использовании 200 инстансов для одного домена можно выделить около 300 ТБ хранилища EBS.

Вопрос: Как выделенные ведущие инстансы распределяются между зонами доступности (AZ)?

При развертывании инстансов данных в одной AZ выделенные ведущие инстансы развертываются в этой же зоне доступности. Однако при развертывании инстансов данных в двух и более AZ Amazon Elasticsearch Service автоматически распределит выделенные ведущие инстансы по всем трем зонам доступности. Исключение будет сделано лишь в том случае, если регион располагает только двумя AZ или для создания выделенных ведущих инстансов выбран тип инстансов прошлого поколения, который доступен не во всех AZ. Дополнительную информацию см. в документации.

Вопрос: Какая конфигурация зон доступности рекомендуется для рабочих развертываний?

Для рабочей среды мы рекомендуем развертывание инстансов данных в трех различных AZ, поскольку это обеспечит более высокую доступность. Помимо этого мы рекомендуем всегда выделять инстансы в количестве, кратном трем, для равномерного распределения по зонам доступности. В регионах, не располагающих тремя зонами доступности, рекомендуется выполнять развертывание в двух AZ с четным количеством инстансов данных. Во всех случаях мы рекомендуем создавать три выделенных ведущих инстанса.

Вопрос: Как настроить домен для развертывания в трех зонах доступности?

Развертывание в трех зонах доступности, как для существующих, так и для вновь созданных доменов, можно настроить с помощью Консоли AWS, интерфейса командной строки или SDK. Дополнительную информацию см. в документации.

Вопрос: Предусмотрена ли плата за развертывание в трех зонах доступности?

Нет, плата за развертывание в трех зонах доступности в Amazon Elasticsearch Service не начисляется. Оплате подлежит только количество инстансов в домене, а не количество зон доступности, в которых выполнено их развертывание.

Вопрос: Я больше не вижу настройки Zone Awareness в своей консоли. Означает ли это, что мой домен больше не может ее использовать?

Все домены, настроенные для развертывания в нескольких зонах доступности, используют возможность Zone Awareness, чтобы гарантировать распределение сегментов между различными AZ. В консоли теперь можно целенаправленно указать желаемый тип развертывания: в двух или трех AZ. Домены, которые ранее были настроены прежде с использованием возможности Zone Awareness, будут развертываться в двух зонах доступности, пока владелец не изменит конфигурацию. Дополнительную информацию см. в документации.

Вопрос: Как Amazon Elasticsearch Service обрабатывает отказы инстансов и сбои зон доступности?

Если один или несколько инстансов в AZ недоступны или не работают, Amazon Elasticsearch Service автоматически попытается запустить новые инстансы в той же зоне доступности, чтобы заменить отказавшие. В крайне редком случае, когда новые инстансы невозможно запустить в той же зоне доступности, Amazon Elasticsearch Service запустит их в других доступных AZ, если домен был настроен для развертывания инстансов в нескольких зонах доступности. Как только проблема с зонами доступности будет решена, Amazon Elasticsearch Service равномерно распределит инстансы между AZ, настроенными на использование с данным доменом. Дополнительную информацию см. в документации.

Вопрос: Если я применяю в домене только одну реплику для индексов, следует ли мне использовать две или три зоны доступности?

Мы рекомендуем использовать три зоны доступности даже при настройке единственной реплики. Если сбой AZ произойдет в домене с тремя зонами доступности, вы потеряете лишь треть объема своих ресурсов, но в случае сбоя в домене с двумя AZ потери составят уже половину доступных ресурсов, что представляет собой гораздо более серьезную проблему. Кроме того, если сбой доступности произойдет в домене с тремя AZ, Amazon Elasticsearch Service сможет использовать две оставшихся зоны для поддержки репликации между несколькими зонами доступности. При сбое в домене с двумя AZ репликация между различными зонами будет нарушена, что еще сильнее ограничит доступность инстансов. Дополнительную информацию см. в документации.

Вопрос: Как использовать преимущества развертывания в трех зонах доступности для домена в VPC?

Количество зон доступности, в которых развернут домен, соответствует числу подсетей, сконфигурированных для работы домена в VPC. Для развертывания в трех зонах доступности необходимо настроить в VPC домена как минимум три подсети. Дополнительную информацию о настройке VPC см. в документации.

Администрирование

Вопрос: Могут ли программы, работающие на серверах в локальном ЦОД, получить доступ к доменам Amazon Elasticsearch Service?

Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon Elasticsearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, можно также использовать VPC‑доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon Elasticsearch Service. Подробнее о подписании запросов см. по ссылке.

Вопрос: Как перенести данные из существующего кластера Elasticsearch в новый домен Amazon Elasticsearch Service?

Чтобы перенести данные из существующего кластера Elasticsearch, нужно создать снимок состояния этого кластера и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon Elasticsearch Service и загрузить в него данные из снимка состояния с помощью API Elasticsearch restore.

Вопрос: Как выполняется масштабирование домена Amazon Elasticsearch Service?

Amazon Elasticsearch Service позволяет управлять процессом масштабирования доменов Amazon Elasticsearch Service с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon Elasticsearch Service выполняется путем добавления, удаления или изменения инстансов или томов хранилища в соответствии с потребностями приложения. Сервис Amazon Elasticsearch Service интегрирован с Amazon CloudWatch, благодаря чему можно отслеживать состояние доменов Amazon Elasticsearch Service с помощью метрик. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.

Вопрос: Возникают ли перерывы в работе сервиса при масштабировании домена Amazon Elasticsearch Service?

Нет. Масштабирование домена Amazon Elasticsearch Service посредством добавления или изменения инстансов и томов хранилища выполняется в процессе работы и не требует остановки сервиса.

Вопрос: Поддерживает ли Amazon Elasticsearch Service репликацию в различных зонах доступности?

Да. В случае использования реплик для индексов Elasticsearch и развертывания в нескольких зонах доступности Amazon Elasticsearch Service автоматически распределит основные и реплицированные сегменты по инстансам, размещенным в разных зонах доступности.

Вопрос: Передает ли Amazon Elasticsearch Service какие‑либо метрики производительности в Amazon CloudWatch?

Да. Amazon Elasticsearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.

Вопрос: Мне необходимо выполнить анализ безопасности или устранить неполадки в работе существующего развертывания Amazon Elasticsearch Service. Можно ли просмотреть историю всех вызовов API сервиса Amazon Elasticsearch Service в аккаунте?

Да. AWS CloudTrail – это веб‑сервис, который записывает вызовы API AWS для аккаунта и предоставляет файлы журналов. История вызовов API AWS в AWS CloudTrail позволяет проводить анализ безопасности и аудит соответствия, а также отслеживать изменения ресурсов. Подробнее о сервисе CloudTrail см. на странице сведений об AWS CloudTrail. Включить его можно на главной странице CloudTrail в Консоли управления AWS.

Вопрос: Что такое снимок состояния?

Снимок состояния – это копия домена Amazon Elasticsearch Service, созданная на определенный момент времени.

Вопрос: Зачем нужны снимки состояния?

Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon Elasticsearch Service с уже загруженными данными или создания нового домена Amazon Elasticsearch Service с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния хранятся в Amazon S3.

Вопрос: Может ли Amazon Elasticsearch Service создавать снимки состояния автоматически?

Да. По умолчанию Amazon Elasticsearch Service создает автоматические снимки состояния каждого домена Amazon Elasticsearch Service каждый час и хранит их в течение 14 дней.

Вопрос: Как долго в Amazon Elasticsearch Service хранятся почасовые автоматические снимки состояния?

Amazon Elasticsearch Service хранит почасовые автоматические снимки состояния за последние 14 дней.

Вопрос: Взимается ли плата за создание ежедневных почасовых автоматических снимков состояния?

Плата за создание почасовых автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon Elasticsearch Service. Ими можно воспользоваться для восстановления узлов.

Вопрос: Можно ли при необходимости создавать дополнительные снимки состояния доменов Amazon Elasticsearch Service?

Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon Elasticsearch Service, можно использовать API снимков состояния Elasticsearch. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам Amazon S3.

Вопрос: Можно ли использовать снимки состояния, созданные вручную, для восстановления домена в случае сбоя?

Да. Создать новый домен Amazon Elasticsearch Service и загрузить данные из снимка состояния в новый домен Amazon Elasticsearch Service можно с помощью API Elasticsearch restore.

Вопрос: Что произойдет со снимками состояния, когда домен Amazon Elasticsearch Service будет удален?

Ежедневные снимки состояния, сохраненные сервисом Amazon Elasticsearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon Elasticsearch Service.

Вопрос: Какие типы журналов Elasticsearch предоставляет Amazon Elasticsearch Service?

Amazon Elasticsearch Service предоставляет три типа журналов Elasticsearch через Amazon CloudWatch Logs: журналы ошибок, журналы медленных запросов для операций поиска и журналы медленных запросов для операций индексирования. Эти журналы позволяют находить и устранять проблемы с производительностью и стабильностью в домене.

Вопрос: Что такое журналы медленных запросов?

Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. Elasticsearch предоставляет два вида журналов медленных запросов.

  • Журналы медленных запросов для операций индексирования содержат подробные данные о процессе индексирования. Их можно использовать для оптимизации настроек индексирования.
  • Журналы медленных запросов для операций поиска содержат данные о скорости выполнения запросов и извлечения данных. С их помощью можно оптимизировать выполнение любых операций поиска в Elasticsearch.

Подробнее о журналах медленных запросов Elasticsearch см. в документации Elasticsearch.

Вопрос: Как включить журналы медленных запросов в Amazon Elasticsearch Service?

Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос: Можно ли включить журналы медленных запросов для определенных индексов?

Да. Можно включить или отключить журналы медленных запросов для определенного индекса в его настройках. Подробнее см. в документации.

Вопрос: Происходит ли при включении журналов медленных запросов в Amazon Elasticsearch Service автоматическое включение журналов для всех индексов?

Нет. Включение журналов медленных запросов в Amazon Elasticsearch Service предоставляет возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос: Если отключить журналы медленных запросов в Amazon Elasticsearch Service, прекратится ли создание файлов журналов?

Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос: Можно ли изменить степень детализации при ведении журналов?

Степень детализации при ведении журналов можно изменять только для журналов медленных запросов. Elasticsearch поддерживает несколько уровней ведения журналов медленных запросов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации Elasticsearch.

Вопрос: Приведет ли включение журналов медленных запросов или журналов ошибок к дополнительным затратам?

При включении журналов медленных запросов или журналов ошибок Amazon Elasticsearch Service начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon Elasticsearch Service не взимает плату за включение журналов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.

Вопрос: Какие типы журналов ошибок предоставляет Amazon Elasticsearch Service?

Elasticsearch использует Apache Log4j 2 и собственные уровни журналов (в порядке возрастания степени серьезности ошибки): TRACE, DEBUG, INFO, WARN, ERROR и FATAL. При включении журналов ошибок Amazon Elasticsearch Service публикует строки журналов со статусом WARN, ERROR и FATAL и некоторых ошибок уровня DEBUG в CloudWatch. Дополнительную информацию см. в документации.

Вопрос: Как включить журналы ошибок в Amazon Elasticsearch Service?

Журналы ошибок можно включить за один щелчок мышью в консоли AWS, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос: Можно ли включить журналы ошибок только для определенных индексов?

Нет, журналы ошибок предоставляются для всего домена. Это значит, что при включении журналов станут доступны записи из всех индексов домена.

Вопрос: Для всех ли версий Elasticsearch, поддерживаемых Amazon Elasticsearch Service, доступны журналы ошибок?

Нет, журналы ошибок доступны только для Elasticsearch версии 5.x и новее.

Вопрос: Существует ли ограничение по длине записей в журнале?

Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.

Вопрос: Каковы рекомендации по использованию журналов медленных запросов?

Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Подробнее см. в документации.

Вопрос: Как получить журналы из CloudWatch Logs?

CloudWatch предлагает множество способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.

Вопрос: Для всех ли версий Elasticsearch, поддерживаемых Amazon Elasticsearch Service, доступны журналы медленных запросов?

Да. Журналы медленных запросов можно включить для всех версий Elasticsearch, поддерживаемых Amazon Elasticsearch Service. Однако для каждой версии Elasticsearch существуют некоторые отличия в способе настройки параметров журнала. Подробнее см. в документации.

Вопрос: Приводит ли включение или выключение ведения журналов к перебоям в работе кластера?

Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала происходит не мгновенно.

Вопрос: Какие версии Elasticsearch поддерживают местное обновление?

В настоящее время Amazon Elasticsearch Service поддерживает местное обновление версии для доменов с Elasticsearch версии 5.x и новее. При обновлениях поддерживаются следующие целевые версии: 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1 и 7.4. Дополнительную информацию см. в документации.

Вопрос: В домене используется Elasticsearch более старой версии, чем 5.x. Как обновить такой домен?

Подробнее о миграции с различных версий Elasticsearch см. в документации.

Вопрос: Будет ли домен недоступен при выполнении местного обновления?

Нет. В ходе обновления домен остается доступным. Однако часть процесса обновления предполагает перемещение сегментов, и это может сказаться на производительности домена. Обновление рекомендуется проводить при низкой нагрузке на домен.

Вопрос: Как проверить возможность обновления версии Elasticsearch, используемой в домене?

Местное обновление версии доступно только для доменов, в которых используется Elasticsearch версии 5.x и новее. Если в домене используется версия 5.x или новее, можно выполнить проверку наличия обновления, которая покажет, можно ли обновить домен до требуемой версии. Подробнее см. в документации.

Вопрос: Какие тесты проводит Amazon Elasticsearch Service, чтобы определить возможность обновления доменов?

Подробный список тестов, проводимых для определения наличия обновления, см. в документации.

Вопрос: Можно ли изменять конфигурацию домена в ходе обновления версии?

Нет. После запуска местного обновления версии вносить изменения в конфигурацию домена нельзя, пока процесс обновления не завершится или не произойдет его сбой. В ходе обновления можно считывать и записывать данные. Кроме того, можно удалить домен. Это приведет к прекращению обновления и удалению домена.

Вопрос: Что происходит с автоматически создаваемым снимком состояния системы в ходе местного обновления версии?

Перед обновлением версии автоматически создается снимок состояния системы. Обновление начинается только в случае успешного создания снимка. Если время начала автоматического создания снимка состояния наступает в ходе обновления, снимок в этот день не создается и переносится на следующий.

Вопрос: Какие меры принимает Amazon Elasticsearch Service на случай ошибок, которые могут внезапно возникнуть в ходе обновления версии?

Перед запуском процесса обновления Amazon Elasticsearch Service выполняет набор тестов для поиска известных проблем, которые могут препятствовать обновлению. Если проблемы не обнаружены, сервис создает снимок состояния домена и запускает процесс обновления в случае успешного создания снимка. Процесс обновления не начинается, если на каком‑либо этапе обнаруживаются ошибки.

Вопрос: Что происходит при обнаружении ошибок в системе в ходе местного обновления версии?

Если обнаруженные ошибки незначительны и могут быть исправлены, Amazon Elasticsearch Service автоматически предпринимает попытку исправить их и возобновить обновление. Однако если ошибка препятствует обновлению, сервис возвращается к снимку состояния, созданному перед обновлением, и фиксирует ошибку в журнале. Подробнее о просмотре журналов, созданных в ходе обновления, см. в документации.

Вопрос: Можно ли просмотреть историю обновлений домена?

Да. Журналы обновления можно просмотреть в консоли AWS. Их также можно запросить с помощью интерфейса командной строки или пакетов SDK. Подробнее см. в документации.

Вопрос: Можно ли приостановить или отменить обновление версии после его запуска?

Нет. После запуска обновление нельзя приостановить или отменить. Оно будет выполняться до завершения или пока не произойдет сбой.

Вопрос: Можно ли выполнять местное обновление версии в нескольких доменах одновременно?

Да. Однако чтобы для всех доменов сохранялась одна версия, рекомендуется выполнить проверку наличия обновления во всех доменах, прежде чем обновлять их. Этот дополнительный этап помогает обнаружить ошибки в домене, которые могут отсутствовать в других.

Вопрос: Сколько времени занимает местное обновление версии?

В зависимости от объема данных и размера кластера обновления могут занимать от нескольких минут до нескольких часов.

Вопрос: Можно ли просто обновить версию домена, не сохраняя данные?

Нет. В ходе местного обновления версии предусмотрено восстановление всех данных в кластере. Чтобы обновить только домен, можно сделать снимок данных, удалить все индексы из домена и затем запустить местное обновление версии. Как вариант, можно создать отдельный домен с более новой версией, после чего восстановить данные в этот домен.

Вопрос: Можно ли выполнить возврат к более ранней версии, если новая версия не устраивает?

Нет. Если необходимо вернуться к более ранней версии, необходимо сделать снимок обновленного домена и восстановить этот снимок в домен, где используется более ранняя версия Elasticsearch.

Безопасность

Вопрос: Как обеспечить безопасность домена Amazon Elasticsearch Service?

Amazon Elasticsearch Service включает ряд функций обеспечения безопасности, соответствует требованиям закона «О перемещаемости и подотчетности страхования здоровья» (HIPAA), а также стандартам PCI DSS, SOC, ISO и FedRamp. Благодаря этому вы можете удовлетворить свои потребности в безопасности и соответствии требованиям. Доступом к API управления Amazon Elasticsearch Service для ряда операций, например операций создания и масштабирования доменов, управляют политики AWS Identity and Access Management (IAM).

Домены Amazon Elasticsearch Service можно настроить таким образом, чтобы они были доступны с помощью адреса в вашем VPC или общедоступного адреса, доступ к которому можно получить через Интернет. Для управления доступом к сети для адресов VPC используются группы безопасности, а для общедоступных адресов доступ можно предоставлять или ограничивать по IP-адресам.

Помимо функций управления доступом на основе сети в Amazon Elasticsearch Service имеются средства аутентификации пользователей с помощью IAM и базовые средства аутентификации, для которых применяются имена пользователей и пароли. Авторизацию можно предоставить на уровне домена (через политики доступа к доменам), а также на уровне индекса, документа и поля (с помощью функции точного управления доступом на платформе Open Distro for Elasticsearch). Кроме того, функция точного управления доступом дополняет возможности Kibana представлениями, предназначенными только для чтения, и безопасной поддержкой нескольких пользователей.

Amazon Elasticsearch Service также поддерживает интеграцию с Amazon Cognito, благодаря чему ваши конечные пользователи могут выполнять вход в Kibana через корпоративных поставщиков удостоверений, например Microsoft Active Directory, с использованием SAML 2.0, Amazon Cognito User Pools и многих других. После входа в систему сервис Amazon Cognito создает сеанс с помощью соответствующего принципала IAM, который предоставляет доступ к домену Amazon Elasticsearch Service. Затем эти принципалы IAM можно использовать с функцией точного управления доступом на платформе Open Distro for Elasticsearch.

Вопрос. Как работают средства безопасной аутентификации и авторизации в Amazon Elasticsearch Service?

Система безопасности Amazon Elasticsearch Service имеет три основных уровня: сеть, политики доступа к домену и точное управление доступом. Первый уровень обеспечения безопасности – сеть. Она определяет, какие запросы достигнут домена. Мы поддерживаем общий доступ через Интернет или доступ через VPC, ограниченный определенными группами безопасности в вашем VPC. Второй уровень обеспечения безопасности – политика доступа к домену. После того как запрос достигает адреса домена, политика доступа к домену разрешает или запрещает доступ запроса к заданному URL. Политика доступа к домену принимает или отклоняет запросы на границе домена, прежде чем они достигнут Elasticsearch. Третий и последний уровень обеспечения безопасности – точное управление доступом. После того как политика доступа к домену разрешит запросу достичь адреса домена, функция точного управления доступом оценивает данные пользователя для доступа и либо выполняет аутентификацию пользователя, либо отклоняет запрос. Если функция точного управления доступом выполняет аутентификацию пользователя, она получает сведения обо всех ролях, сопоставленных с этим пользователем, и использует полный набор разрешений, чтобы определять, к каким данным у пользователя есть доступ.

Вопрос. Поддерживает ли Amazon Elasticsearch Service шифрование?

Да, Amazon Elasticsearch Service поддерживает шифрование данных, находящихся в покое, с помощью сервиса AWS Key Management Service (KMS), шифрование меду узлами через протокол TLS и возможность требовать от клиентов, чтобы они обменивались данными по протоколу HTTPS. Функция шифрования данных, находящихся в покое, шифрует сегменты, файлы журналов, файлы подкачки и автоматизированные снимки состояния S3. Вы можете использовать ключи, управляемые AWS, либо выбрать собственный ключ. Функция шифрования между узлами позволяет использовать протокол TLS для обмена всеми данными между узлами. Amazon Elasticsearch Service автоматически развертывает сертификаты и выполняет их ротацию в течение срока жизни домена. Если вы требуете от своих клиентов обмениваться данными через HTTPS, у вас также имеется возможность указать минимальную версию TLS.

Вопрос: Как получить доступ к Kibana при использовании VPC‑доступа для домена Amazon Elasticsearch Service?

Если настроен VPC‑доступ, адрес сервера Amazon Elasticsearch Service доступен только в пределах соответствующего облака VPC. Для доступа к Kibana с компьютера, находящегося за пределами VPC, необходимо подключить этот компьютер к облаку VPC с помощью VPN или VPC Direct Connect.

Цены

Цены на инстансы по требованию

Вопрос: Каков принцип оплаты сервиса Amazon Elasticsearch Service?

Вы платите только за то, чем пользуетесь, без минимальной оплаты или начальных взносов. Плата начисляется на основании следующих параметров.

  • Часы использования инстанса Amazon Elasticsearch Service – в зависимости от класса использованного инстанса Amazon Elasticsearch Service (стандартный Small, Large или Extra Large). Неполные часы использования инстанса Amazon Elasticsearch Service оплачиваются как полные.
  • Хранилище (за каждый гигабайт в месяц) – объем хранилища EBS, выделенного для инстанса Amazon Elasticsearch Service. Если в течение месяца выполнялось масштабирование выделенных ресурсов хранилища, стоимость будет пересчитана пропорционально.
  • Выделенный объем IOPS в месяц – выделенный объем IOPS для хранилища Amazon EBS, независимо от потребленного объема IOPS. Применимо только для хранилища Amazon Elasticsearch Service с выделенным объемом IOPS (SSD).
  • Передача данных – взимается стандартная плата за передачу данных AWS.

Сведения о ценах см. на странице цен сервиса Amazon Elasticsearch Service.

Вопрос: Когда начинается и когда заканчивается начисление платы за домен Amazon Elasticsearch Service?

Плата за использование инстанса Amazon Elasticsearch Service начинает взиматься, как только он становится доступным. Плата перестает начисляться после остановки работы инстанса Amazon Elasticsearch Service, что может произойти либо в случае удаления инстанса, либо при сбое в работе инстанса.

Вопрос: Как определяются часы использования инстанса Amazon Elasticsearch Service, подлежащие оплате?

Оплате подлежит каждый час, в течение которого инстанс Amazon Elasticsearch Service работает и доступен. Чтобы не оплачивать дополнительные часы использования инстанса Amazon Elasticsearch Service, который больше не нужен, необходимо удалить домен. Неполные часы использования инстанса Amazon Elasticsearch Service оплачиваются как полные.

Цены на зарезервированные инстансы

Вопрос: Что такое зарезервированный инстанс?

Зарезервированные инстансы Amazon Elasticsearch Service – это возможность зарезервировать инстанс на один или три года и взамен получить значительную скидку по сравнению со стоимостью инстансов по требованию.

Вопрос: Чем отличаются зарезервированные инстансы от инстансов по требованию?

Функциональные возможности зарезервированных инстансов и инстансов по требованию абсолютно одинаковы. Единственное отличие состоит в способе начисления платы за использование инстансов. При использовании зарезервированных инстансов вы резервируете ресурсы сроком на один или три года и получаете более низкий почасовой тариф (по сравнению с инстансами по требованию) на весь срок резервирования. Если зарезервированные инстансы в каком‑либо регионе не приобретены, все инстансы в этом регионе подлежат оплате на основании почасового тарифа для инстансов по требованию.

Вопрос: Какие существуют варианты оплаты зарезервированных инстансов?

Доступны три варианта оплаты.

  • Зарезервированные инстансы без предоплаты (NURI) обеспечивают значительную экономию по сравнению с ценами на инстансы по требованию. Вы не вносите предоплату, но обязуетесь оплачивать зарезервированный инстанс в течение одного или трех лет.
  • Зарезервированные инстансы с частичной предоплатой (PURI) обеспечивают большую экономию по сравнению с NURI. Вы вносите частичную предоплату, а остальную сумму оплачиваете на протяжении всего срока резервирования. Этот вариант позволяет оптимально распределить авансовые платежи и почасовую оплату.
  • Зарезервированные инстансы с полной предоплатой (AURI) обеспечивают максимальную экономию среди всех вариантов оплаты зарезервированных инстансов. Вы полностью оплачиваете все зарезервированные ресурсы, внося разовую предоплату, при этом почасовую плату не вносите.

Вопрос: Как приобрести зарезервированные инстансы?

Зарезервированные инстансы приобретаются в разделе «Reserved Instance» (Зарезервированные инстансы) Консоли управления AWS для сервиса Amazon Elasticsearch Service. Кроме того, для просмотра и приобретения зарезервированных инстансов можно использовать API сервиса Amazon Elasticsearch Service или интерфейс командной строки AWS.

После покупки зарезервированный инстанс можно использовать так же, как и инстанс по требованию. Если резервирование активно, Amazon Elasticsearch Service будет применять к инстансу сниженный почасовой тариф.

Вопрос: Зависят ли зарезервированные инстансы от зоны доступности?

Зарезервированные инстансы Amazon Elasticsearch Service приобретаются для региона, а не для конкретной зоны доступности. После покупки зарезервированного инстанса для какого‑либо региона скидка будет применяться для соответствующего использования в любой зоне доступности в этом регионе.

Вопрос: Сколько зарезервированных инстансов можно приобрести?

За одну покупку можно приобрести до 100 зарезервированных инстансов. Если требуется больше зарезервированных инстансов, нужно разместить несколько запросов на покупку.

Вопрос: Резервируются ли ресурсы для зарезервированных инстансов?

Зарезервированные инстансы Amazon Elasticsearch Service приобретаются для региона, а не для конкретной зоны доступности. Соответственно, ресурсы для них не резервируются. Даже если в конкретной зоне доступности ресурсы ограничены, зарезервированные инстансы можно приобрести в рамках региона. При этом скидка будет применяться для соответствующего использования в любой зоне доступности в этом регионе.

Вопрос: Можно ли преобразовать существующий инстанс по требованию в зарезервированный инстанс?

Просто приобретите зарезервированный инстанс того же типа, что и существующий инстанс по требованию. В случае успешной покупки зарезервированного инстанса Amazon Elasticsearch Service автоматически применит новый пониженный почасовой тариф на время резервирования.

Вопрос: Какой момент считается началом срока резервирования при регистрации для получения зарезервированного инстанса? Что произойдет с зарезервированными инстансами после окончания срока резервирования?

Изменения тарифов и срока резервирования, связанные с зарезервированным инстансом, произойдут сразу после получения запроса и обработки платежа. Если разовый платеж (когда применимо) или новый почасовой тариф (когда применимо) не удается успешно обработать к началу следующего расчетного периода, тариф со скидкой не применяется, при этом отсчет срока резервирования не начинается. Следить за статусом резервирования можно с помощью консоли, API или интерфейса командной строки. Дополнительную информацию см. в документации.

По истечении срока резервирования за использование зарезервированного инстанса будет начисляться почасовая плата как за инстанс по требованию согласно классу инстанса и региону.

Вопрос: Как указать, какие из инстансов будут оплачиваться по тарифу зарезервированных инстансов?

При выставлении счета наша система автоматически применяет тарифы зарезервированных инстансов, чтобы соответствующие инстансы оплачивались по более низкому почасовому тарифу зарезервированных инстансов. Amazon Elasticsearch Service не разделяет инстансы по требованию и зарезервированные инстансы при работе с доменами Elasticsearch Service.

Вопрос: Что произойдет с зарезервированным инстансом, если изменить его размер (увеличить или уменьшить его)?

Каждый зарезервированный инстанс связан с тем типом инстанса и регионом, которые были выбраны для него. При изменении типа инстанса в регионе, в котором у вас имеется зарезервированный инстанс, вы не получите скидку. При резервировании необходимо убедиться, что зарезервированный инстанс соответствует типу инстанса, который планируется использовать. Подробнее см. в документации по зарезервированным инстансам Amazon Elasticsearch Service.

Вопрос: Можно ли перенести зарезервированный инстанс из одного региона в другой или из одной зоны доступности в другую?

Каждый зарезервированный инстанс связан с определенным регионом. Эта связь сохраняется в течение всего срока резервирования, и ее нельзя изменить. Однако зарезервированный инстанс может использоваться в любой зоне доступности в пределах соответствующего региона.

Вопрос: Возможно ли использование зарезервированных инстансов в нескольких зонах доступности?

Зарезервированный инстанс приобретается для определенного региона AWS и может использоваться в любой зоне доступности в пределах этого региона.

Вопрос: Зарезервированные инстансы можно использовать как для ведущих узлов, так и для узлов данных?

Да. При применении скидки на зарезервированные инстансы сервис Amazon Elasticsearch Service не разделяет ведущие узлы и узлы данных.

Вопрос: Возможна ли отмена резервирования инстанса?

Нет. Отменить резервирование инстанса нельзя, при этом внесенный разовый платеж (если взимался) и почасовая плата по тарифу со скидкой (если взималась) не возвращаются. Кроме того, зарезервированный инстанс нельзя перенести в другой аккаунт. Каждый час в течение срока действия зарезервированных инстансов подлежит оплате независимо от использования.

Вопрос: Если зарезервированный инстанс приобретается из аккаунта плательщика (основного аккаунта), будет ли он доступен для всех аккаунтов‑участников?

Да. Цена на зарезервированный инстанс и его применение соответствуют политикам, определенным для консолидированной оплаты в AWS. Подробнее см. по ссылке.

Вопрос: Если AWS снизит цены на инстансы по требованию для Amazon Elasticsearch Service, будет ли изменена плата за текущие зарезервированные инстансы?

Нет. Цена на уже приобретенные зарезервированные инстансы не меняется в течение срока резервирования.

Вопрос: Можно ли продать зарезервированные инстансы в магазине зарезервированных инстансов?

Нет. Зарезервированные инстансы, приобретенные в Amazon Elasticsearch Service, нельзя продать в магазине зарезервированных инстансов.

Вопрос: Предоставляются ли оптовые скидки при покупке зарезервированных инстансов?

Нет. Оптовые скидки при покупке зарезервированных инстансов Amazon Elasticsearch Service не предоставляются.

Соглашение об уровне обслуживания

Вопрос: Что гарантирует соглашение об уровне обслуживания (SLA) сервиса Amazon Elasticsearch Service?

Соглашение об уровне обслуживания (SLA) Amazon Elasticsearch Service гарантирует бесперебойное ежемесячное время работы сервиса Amazon Elasticsearch Service на уровне не менее 99,9 %.

Вопрос: Как узнать, могу ли я претендовать на компенсацию по соглашению об уровне обслуживания?

Вы можете претендовать на компенсацию в рамках SLA для Amazon Elasticsearch Service в том случае, если домены Amazon Elasticsearch Service, расположенные в нескольких зонах доступности, демонстрируют в течение любого оплаченного месяца время бесперебойной работы на уровне менее 99,9 %.

С условиями и положениями соглашения, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений о соглашении об уровне обслуживания Amazon Elasticsearch Service.

UltraWarm

Вопрос: Что такое UltraWarm?

UltraWarm – это полностью управляемое, недорогое хранилище «теплых» данных для Amazon Elasticsearch Service. Оно совместимо с Elasticsearch и Kibana, а также позволяет анализировать данные с помощью тех же инструментов, которые сегодня предоставляет сервис Amazon Elasticsearch Service. UltraWarm просто интегрируется с существующими возможностями Amazon Elasticsearch Service, такими как встроенные предупреждения, SQL‑запросы и многое другое. 

Вопрос: Зачем использовать UltraWarm?

UltraWarm позволяет вам экономически эффективно расширять данные, которые вы хотите проанализировать в Amazon Elasticsearch Service, а также получать ценную информацию о данных, которые ранее могли быть удалены или заархивированы. С UltraWarm теперь можно экономично хранить больше своих данных и интерактивно анализировать их в любое время.

Вопрос. Как относится UltraWarm к сервису Amazon Elasticsearch Service и как они взаимодействуют?

Сервис Amazon Elasticsearch Service поддерживает два уровня интегрированного хранения: хранение «горячих данных» и UltraWarm. Хранилище «горячих данных» питается от узлов данных, которые используются для индексации, обновления и обеспечения самого быстрого доступа к данным. Узлы UltraWarm дополняют хранилище «горячих» данных, предоставляя недорогое хранилище «только для чтения» для старых и менее часто используемых данных.

Вопрос. Почему UltraWarm нужны только первичные данные для прочности?

UltraWarm использует сервис Amazon Simple Storage Service (Amazon S3) для хранения данных, который рассчитан на 99.999999999 процентов прочности и устраняет необходимость в настройке реплики Elasticsearch для ваших «теплых» данных. Кроме того, если у вас есть более одного узла UltraWarm, в случае сбоя узла другие узлы UltraWarm будут автоматически получать доступ к данным по мере необходимости.

Вопрос. Какой объем данных можно хранить в UltraWarm?

UltraWarm поддерживает до 3 ПБ первичных данных. UltraWarm предназначен для того, чтобы вы могли полностью использовать весь объем этого хранилища, а поскольку для обеспечения надежности UltraWarm хранит данные на основе S3, использовать дополнительное хранилище для реплик Elasticsearch не требуется.

Вопрос. Каковы характеристики производительности UltraWarm?

UltraWarm обеспечивает интерактивную работу в Kibana, внедряя детализированное кэширование ввода-вывода Elasticsearch, предварительную выборку и оптимизацию подсистемы запросов, чтобы обеспечить производительность, подобную инстансам высокой плотности с использованием локального хранилища.

Вопрос. Как приступить к работе с UltraWarm?

Чтобы начать работу с UltraWarm, создайте новый домен сервиса Amazon Elasticsearch Service с включенным UltraWarm с помощью консоли, CLI или API. Как только ваш домен создан, вы можете перемещать контент из хранилища «горячих» данных в UltraWarm с помощью API Elasticsearch. Подробнее. 

Open Distro for Elasticsearch

Вопрос. Как Open Distro for Elasticsearch связан с Amazon Elasticsearch Service?

Цель Open Distro for Elasticsearch – предоставить инновационный дистрибутив Elasticsearch со стопроцентно открытым кодом, который был бы доступен всем. Мы используем Open Distro for Elasticsearch, чтобы привлечь участников сообщества к разработке большинства новых функций для Amazon Elasticsearch Service. Благодаря этому клиенты получают возможность предоставлять отзывы и вносить вклад в разработку функций с открытым исходным кодом, которые затем становятся доступными в сервисе. Перечень функций Open Distro for Elasticsearch, поддерживаемых в сервисе, включает средства обеспечения безопасности, создания предупреждений, работы с SQL и многие другие средства. Чтобы получить дополнительные сведения об Open Distro for Elasticsearch или принять участие в разработке, посетите веб-сайт Open Distro.

Вопрос. Следует ли считать программное обеспечение, работающее в Amazon Elasticsearch Service, производным от Open Distro for Elasticsearch?

Да. Мы разрабатываем полезные функции Open Distro for Elasticsearch в виде открытого кода. После того как они становятся общедоступными в Open Distro for Elasticsearch, мы интегрируем и развертываем их в Amazon Elasticsearch Service.

Вопрос. Вы планируете предлагать Open Distro for Elasticsearch на Amazon Elasticsearch Service?

Amazon Elasticsearch Service работает на Open Distro for Elasticsearch. Open Distro for Elasticsearch – это стек полезных дополнительных модулей и расширений, установленных с помощью продуктов с открытым исходным кодом Elasticsearch и Kibana. Когда клиенты выбирают версию Elasticsearch в сервисе, они получают соответствующую версию поддерживаемых функций Open Distro for Elasticsearch. Перечень таких функций включает функции обеспечения безопасности, создания предупреждений и работы с SQL. Дополнительные сведения см. на нашей странице поддерживаемых функций.

Подробнее о ценах на Amazon Elasticsearch Service

Перейти на страницу цен
Готовы приступить к разработке?
Начало работы с Amazon Elasticsearch Service
Есть вопросы?
Свяжитесь с нами