Вопрос: Что такое Amazon Elasticsearch Service?

Amazon Elasticsearch Service – это управляемый сервис, позволяющий легко осуществлять развертывание, эксплуатацию и масштабирование кластеров Elasticsearch в облаке AWS.

Вопрос: Какая версия Elasticsearch поддерживается сервисом Amazon Elasticsearch Service?

Amazon Elasticsearch Service в настоящее время поддерживает Elasticsearch версий 5.5, 5.3, 5.1, 2.3 и 1.5.

Начните работать с AWS бесплатно

Создать бесплатный аккаунт
или войти в Консоль

Уровень бесплатного пользования AWS включает 750 часов работы инстансов t2.micro.elasticsearch или t2.small.elasticsearch в месяц и 10 ГБ дополнительного хранилища Amazon EBS (магнитные или универсальные тома).

Сведения об уровне бесплатного пользования AWS »

 

 

Вопрос: Что такое домен Amazon Elasticsearch?

Домены Amazon Elasticsearch – это кластеры Elasticsearch, созданные с помощью консоли Amazon Elasticsearch Service, интерфейса командной строки или API. Каждый из доменов представляет собой кластер Elasticsearch в облаке, вычислительные ресурсы и емкость хранилища которого определяет пользователь. Пользователь может создавать и удалять домены, задавать атрибуты их инфраструктуры, а также управлять безопасностью и настройками доступа. Можно работать с одним или несколькими доменами Amazon Elasticsearch.

Вопрос: Какие виды управления берет на себя Amazon Elasticsearch Service?

Amazon Elasticsearch Service управляет операциями, связанными с настройкой домена: от выделения запрашиваемых инфраструктурных ресурсов в сетевой среде до установки программного обеспечения Elasticsearch. Когда домен уже работает, Amazon Elasticsearch Service позволяет автоматизировать стандартные задачи администрирования, такие как резервное копирование данных, мониторинг инстансов и установка исправлений ПО. Amazon Elasticsearch Service интегрирован с сервисом Amazon CloudWatch, что позволяет фиксировать информацию о состоянии доменов в соответствующих метриках. Кроме того, Amazon Elasticsearch Service предоставляет различные варианты параметров для хранилища и инстанса домена, тем самым упрощая процесс настройки домена под потребности приложения.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интерфейсы API Elasticsearch с открытым исходным кодом?

Amazon Elasticsearch Service поддерживает большинство распространенных интерфейсов API Elasticsearch, поэтому код, приложения и популярные инструменты, которые используются в существующих средах Elasticsearch, будут работать без изменений. Полный перечень поддерживаемых операций Elasticsearch см. в нашей документации.

Вернуться к началу >>


Вопрос: Можно ли использовать консоль Amazon Elasticsearch Service для создания и изменения домена?

Да. Новый домен Amazon Elasticsearch можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. Консоль также позволяет изменять или удалять существующие домены Amazon Elasticsearch.

Вопрос: Поддерживает ли Amazon Elasticsearch Service работу в Amazon VPC?

Да, Amazon Elasticsearch Service интегрирован с Amazon VPC. При выборе VPC-доступа домену Amazon Elasticsearch Service назначаются IP-адреса из соответствующего облака VPC. Таким образом, весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к своим доменам Amazon Elasticsearch Service можно применять группы безопасности и политики IAM.

Вопрос: Можно ли использовать шаблоны CloudFormation для выделения доменов Amazon ES?

Да. Сервис AWS CloudFormation поддерживает Amazon ES. Дополнительную информацию см. в документации CloudFormation Template Reference.

Вопрос: Поддерживает ли Amazon Elasticsearch Service конфигурацию выделенных ведущих узлов?

Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.

Вопрос: Можно ли создать несколько индексов Elasticsearch в рамках одного домена Amazon Elasticsearch?

Да. В рамках одного домена Amazon Elasticsearch можно создавать несколько индексов Elasticsearch. Elasticsearch автоматически распределяет индексы и связанные реплики между выделенными домену инстансами.

Вопрос: Как я могу собирать данные в мой домен Amazon Elasticsearch Service?

Amazon Elasticsearch Service поддерживает три варианта сбора данных.

  • Для больших объемов данных рекомендуется использовать Amazon Kinesis Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может перед загрузкой данных может преобразовывать, объединять и в пакеты и сжимать данные.
  • Amazon Elasticsearch Service поддерживает интеграцию с Logstash. Домен Amazon Elasticsearch Service можно настроить для использования в качестве хранилища данных для всех журналов, поступающих через Logstash.
  • Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch, такие как index и bulk.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интеграцию с Logstash?

Да. Amazon Elasticsearch Service поддерживает интеграцию с Logstash. Можно настроить домен Amazon Elasticsearch в качестве серверного хранилища для всех журналов, поступающих через используемый конвейер Logstash. При управлении доступом к домену Amazon Elasticsearch можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP-адресов инстансов, на которых исполняется Logstash.

Вопрос: Поддерживает ли Amazon Elasticsearch Service интеграцию с Kibana?

Да. Amazon Elasticsearch Service включает встроенную платформу Kibana, которая развертывается вместе с доменом Amazon Elasticsearch.

Вопрос: Можно ли создавать пользовательские отчеты с помощью платформы Kibana, включенной в Amazon Elasticsearch Service?

Да. Kibana поддерживает создание и сохранение индивидуально настроенных отчетов через пользовательский интерфейс. Подробнее об использовании платформы Kibana см. в документации Kibana.

Вопрос: Какие варианты хранилищ доступны для сервиса Amazon Elasticsearch Service?

Можно выбирать между локальным хранилищем на инстансах и томами EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличивать и уменьшать размеры тома по мере необходимости.

Вопрос: Какие типы томов EBS поддерживает Amazon Elasticsearch Service?

Выбирать можно между следующими типами томов EBS: магнитный, универсальный и том с выделенными IOPS.

Вопрос: Существуют ли ограничения на объем хранилища EBS, выделяемого для домена Amazon Elasticsearch?

Да. Amazon Elasticsearch Service поддерживает выделение одного тома EBS (максимальный объем – 1,5 ТБ) на каждый инстанс, связанный с доменом. Если учесть, что каждый домен Amazon Elasticsearch может использовать до 20 узлов данных, то для одного домена можно выделить объем хранилища EBS приблизительно в 30 ТБ. Имеется возможность запросить увеличение лимита обслуживания до 100 инстансов на домен, создав заявку в Центр AWS Support. Со 100 инстансами можно выделить около 150 ТБ хранилища EBS для одного домена.

Вернуться к началу >>


Вопрос: Могут ли программы, работающие на серверах в локальном центре обработки данных, получить доступ к доменам Amazon Elasticsearch?

Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon Elasticsearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, дополнительно можно использовать VPC-доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon Elasticsearch. Дополнительные сведения о подписании запросов см. здесь.

Вопрос: Как перенести данные из существующего кластера Elasticsearch в новый домен Amazon Elasticsearch?

Чтобы перенести данные из существующего кластера Elasticsearch, необходимо создать снимок состояния существующего кластера Elasticsearch и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon Elasticsearch и загрузить данные из снимка состояния в новый домен Amazon Elasticsearch с помощью API восстановления.

Вопрос: Как выполняется масштабирование домена Amazon Elasticsearch?

Amazon Elasticsearch Service позволяет управлять процессом масштабирования доменов Amazon Elasticsearch с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon Elasticsearch выполняется за счет добавления, удаления или изменения инстансов или томов хранилища в зависимости от потребностей приложения. Amazon Elasticsearch Service интегрирован с сервисом Amazon CloudWatch, благодаря чему информация о состоянии доменов фиксируется в соответствующих метриках. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.

Вопрос: Возникают ли перерывы в работе сервиса при масштабировании домена Amazon Elasticsearch?

Нет. Масштабирование домена Amazon Elasticsearch посредством добавления или изменения инстансов и томов хранилища выполняется по ходу работы и не требует остановки сервиса.

Вопрос: Какие варианты действий предлагает Amazon Elasticsearch Service в случае сбоев узлов?

Amazon Elasticsearch Service автоматически выявляет сбои узлов и выполняет их замену. Сервис получает для работы новые инстансы, а затем перенаправляет запросы Elasticsearch и обновления документов к этим новым инстансам. Если замену узла выполнить не удастся, можно будет воспользоваться имеющимися снимками состояния кластера, чтобы перезапустить домен с уже загруженными данными.

Вопрос: Поддерживает ли Amazon Elasticsearch Service репликацию в различных зонах доступности?

Да. Клиенты могут включить для своих доменов Amazon Elasticsearch параметр «Zone Awareness» при создании либо при изменении существующего домена. При включении параметра «Zone Awareness» сервис Amazon Elasticsearch Service распределит инстансы, поддерживающие домен, между двумя зонами доступности. Затем, если в Elasticsearch включена репликация, инстансы будут автоматически распределены таким образом, чтобы обеспечить полную репликацию в этих зонах доступности.

Вопрос: Передает ли Amazon Elasticsearch Service какие-либо метрики производительности в Amazon CloudWatch?

Да. Amazon Elasticsearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.

Вопрос: Мне необходимо выполнить анализ безопасности или устранить неполадки в работе существующего развертывания Amazon Elasticsearch Service. Можно ли просмотреть историю всех вызовов API Amazon Elasticsearch Service в аккаунте?

Да. AWS CloudTrail – это веб-сервис, который записывает все вызовы AWS API для вашего аккаунта и предоставляет вам лог-файлы. История вызовов API AWS в AWS CloudTrail позволяет провести анализ безопасности и аудит соответствия, а также отследить изменения ресурсов. Дополнительные сведения о сервисе CloudTrail см. на странице AWS CloudTrail, при этом включить его можно на главной странице CloudTrail в Консоли управления AWS.

Вопрос: Что такое снимок состояния?

Снимок состояния – это копия домена Amazon Elasticsearch, созданная на определенный момент времени.

Вопрос: Зачем нужны снимки состояния?

Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon Elasticsearch с уже загруженными данными или создания нового домена Amazon Elasticsearch с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния томов помещаются в хранилище Amazon S3.

Вопрос: Может ли Amazon Elasticsearch Service создавать снимки состояния автоматически?

Да. По умолчанию Amazon Elasticsearch Service ежедневно создает автоматические снимки состояния каждого домена Amazon Elasticsearch. Создание ежедневных снимков состояния производится в интервале между полуночью и 1:00 UTC. Время создания автоматических снимков состояния можно изменить в соответствии со своими потребностями.

Вопрос: Можно ли изменить настройки создания ежедневных автоматических снимков состояния, заданные сервисом Amazon Elasticsearch Service по умолчанию?

Да. Пользователи могут изменить время создания ежедневных автоматических снимков состояния в соответствии с графиком работы приложения.

Вопрос: Как долго в Amazon Elasticsearch Service хранятся ежедневные автоматические снимки состояния?

Amazon Elasticsearch Service сохраняет ежедневные автоматические снимки состояния в течение 14 дней.

Вопрос: Взимается ли плата за создание ежедневных автоматических снимков состояния?

Плата за создание ежедневных автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon Elasticsearch Service, ими можно воспользоваться для восстановления узлов.

Вопрос: Можно ли при необходимости создать дополнительные снимки состояния доменов Amazon Elasticsearch Service?

Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon Elasticsearch Service, можно использовать API снимков состояния Elasticsearch. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам хранилища.

Вопрос: Можно ли использовать снимки состояния, созданные вручную, для восстановления домена в случае возникновения сбоя?

Да. Клиенты могут создать новый домен Amazon Elasticsearch и загрузить данные из снимка состояния в новый домен Amazon Elasticsearch с помощью API восстановления Elasticsearch.

Вопрос: Что произойдет со снимками состояния, когда домен Amazon Elasticsearch будет удален?

Ежедневные снимки состояния, сохраненные сервисом Amazon Elasticsearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon Elasticsearch.

Вопрос: Что такое журналы медленных запросов?

Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. Elasticsearch предоставляет два вида журналов медленных запросов.

  • Index Slow Logs. Эти журналы содержат подробные данные о процессе индексирования; их можно использовать для оптимизации настроек индексирования.
  • Search Slow Logs. Эти журналы содержат данные о скорости выполнения запросов и выборок. С их помощью можно оптимизировать выполнение любых операций поиска в Elasticsearch. 

Подробные сведения о журналах медленных запросов Elasticsearch см. в документации Elasticsearch.

Вопрос: Как включить журналы медленных запросов в Amazon ES?

Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Дополнительные сведения см. в документации.

Вопрос: Можно ли включить журналы медленных запросов для определенных индексов?

Да. Можно обновить настройки для определенного индекса и включить или отключить для него журналы медленных запросов. Дополнительную информацию см. в документации.

Вопрос: Происходит ли при включении журналов медленных запросов в Amazon ES автоматическое включение журналов для всех индексов?

Нет. Включение журналов медленных запросов в Amazon ES дает возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки для одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос: Если отключить возможность Slow Logs в Amazon ES, будет ли это означать, что файлы журналов больше не создаются?

Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос: Можно ли настроить степень детализации при ведении журналов?

Да. Elasticsearch предоставляет несколько уровней ведения журналов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос: Приведет ли включение журналов медленных запросов к дополнительным затратам?

При включении журналов медленных запросов Amazon ES начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon ES не взимает плату за включение журналов медленных запросов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.

Вопрос: Существует ли ограничение по длине для записи в журнале?

Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.

Вопрос: Каковы рекомендации по использованию журналов медленных запросов?

Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Дополнительную информацию см. в документации.

Вопрос: Как можно получить журналы из CloudWatch Logs?
CloudWatch предлагает несколько способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.

Вопрос: Для всех ли версий Elasticsearch, поддерживаемых Amazon ES, доступны журналы медленных запросов?

Да. Журналы медленных запросов можно включить для всех версий Elasticsearch, поддерживаемых Amazon ES. Однако для каждой версии Elasticsearch существуют некоторые различия в способе настройки параметров журнала. Подробную информацию см. в документации.

Вопрос: Приводит ли включение или выключение ведения журналов к перебоям в работе кластера?

Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала не происходит мгновенно.  

Вернуться к началу >>


Вопрос: Как обеспечить безопасность домена Amazon Elasticsearch Service?

Если для обеспечения безопасности приложений, данных и сетевого трафика используется облако VPC, можно настроить для Amazon Elasticsearch Service VPC-доступ, чтобы управлять сетевым доступом с помощью групп безопасности VPC. Кроме того, для обеспечения точного управления доступом можно применять политики сервиса IAM. Они позволяют указать, какие роли IAM могут выполнять административные задачи, использовать API Elasticsearch и получать доступ к ресурсам домена до уровня индексов.

Для обеспечения доступа к домену Amazon Elasticsearch Service из Интернета можно настроить публичный доступ к нему. При публичном доступе можно управлять доступом к серверу по IP-адресам и запрашивать аутентификацию с использованием ролей IAM. Политики IAM позволяют управлять доступом к доменам Amazon Elasticsearch и зависимым ресурсам (например, индексам, созданным в рамках домена).

Кроме того, политики IAM можно использовать для контроля доступа к API управления (для таких операций, как создание и масштабирование кластеров) и к API Elasticsearch (для таких операций, как загрузка документов и исполнение запросов Elasticsearch).

Вопрос: Как настроить VPC-доступ для Amazon Elasticsearch Service?

VPC-доступ настраивается при создании домена Amazon Elasticsearch Service. Это можно сделать за несколько щелчков мышью в консоли сервиса, с помощью интерфейса командной строки или вызовов API. Подробнее см. в Руководстве для разработчиков по Amazon Elasticsearch Service.

Вопрос: Если я настрою VPC-доступ для моего домена Amazon Elasticsearch Service, как можно получить доступ к Kibana?

Если настроен VPC-доступ, адрес сервера Amazon Elasticsearch Service доступен только в пределах соответствующего облака VPC. Для доступа к Kibana с компьютера, находящегося за пределами VPC, необходимо подключить этот компьютер к облаку VPC с помощью VPN или Direct Connect.

Вернуться к началу >>


Вопрос: Каков принцип оплаты сервиса Amazon Elasticsearch Service?

Вы платите только за то, чем пользуетесь, без минимальной оплаты или начальных взносов. Плата взимается на основании следующих параметров.

  • Часы использования инстанса Amazon Elasticsearch, в зависимости от класса использованного инстанса Amazon Elasticsearch (стандартный Small, Large или Extra Large). Неполные часы использования инстанса Amazon Elasticsearch оплачиваются как полные.
  • Хранилище (за каждый гигабайт в месяц) – за объем хранилища EBS, выделенного для инстанса Amazon Elasticsearch. Если в течение месяца выполнялось масштабирование объема хранилища, производится соответствующий пересчет стоимости услуг.
  • Объем выделенных операций ввода-вывода в секунду (IOPS) в месяц – выделенное количество IOPS для хранилища EBS, независимо от общего количества выполненных запросов на операции ввода-вывода (только для хранилища Amazon Elasticsearch Service с выделенным объемом IOPS (SSD)).
  • Передача данных – взимается стандартная плата за передачу данных AWS.

Сведения о ценах см. на странице цен сервиса Amazon Elasticsearch Service.


Вопрос: Когда начинается и заканчивается начисление платы за домен Amazon Elasticsearch?

Плата за использование инстанса Amazon Elasticsearch начинает взиматься, как только он становится доступным. Плата перестает начисляться после остановки работы инстанса Amazon Elasticsearch, что может произойти либо в случае удаления инстанса, либо при сбое в работе инстанса.

Вопрос: Как определяются часы использования инстанса Amazon Elasticsearch Service, подлежащие оплате?

Оплате подлежит каждый час, в течение которого инстанс Amazon Elasticsearch работает и доступен. Чтобы не оплачивать дополнительные инстанс-часы за использование инстанса Amazon Elasticsearch, который больше не нужен, необходимо удалить домен. Неполные часы использования инстанса Amazon Elasticsearch оплачиваются как полные.

Вернуться к началу >>