Вопросы и ответы по Amazon OpenSearch Service

Вопрос. Что такое сервис Amazon OpenSearch?

Сервис Amazon OpenSearch – это управляемый сервис, который упрощает интерактивный анализ журналов, мониторинг приложений в режиме реального времени, поиск на веб-сайтах и многие другие процессы. OpenSearch – это распределенный комплект с открытым исходным кодом для поиска и аналитики, созданный на базе Elasticsearch. В сервис Amazon OpenSearch включены последние версии OpenSearch, поддержка 19 версий Elasticsearch (версии от 1.5 до 7.10) и возможности визуализации на базе OpenSearch Dashboards и Kibana (версии от 1.5 до 7.10). Сервисом Amazon OpenSearch пользуются десятки тысяч активных клиентов, которые управляют сотнями тысяч кластеров, обрабатывающих триллионы запросов в месяц. См. вопросы и ответы по сервису Amazon OpenSearch, чтобы узнать больше.

Вопрос. Какие версии OpenSearch и Elasticsearch поддерживает сервис Amazon OpenSearch?

Amazon OpenSearch Service предлагает новейшие версии OpenSearch и поддерживает 19 версий Elasticsearch (с 1.5 до 7.10). Дополнительную информацию см. в документации.

Вопрос. Что такое домен Amazon OpenSearch Service?

Домены Amazon OpenSearch Service – это кластеры Elasticsearch (с 1.5 до 7.10) или OpenSearch, созданные с помощью консоли Amazon OpenSearch Service, интерфейса командной строки или API. Каждый из доменов представляет собой кластер OpenSearch или Elasticsearch в облаке с вычислительными ресурсами и объемом хранилища, заданными клиентом. Сервис позволяет создавать и удалять домены, задавать атрибуты их инфраструктуры, а также управлять безопасностью и настройками доступа. Можно использовать один или несколько доменов Amazon OpenSearch Service.

Вопрос. Какие виды управления берет на себя Amazon OpenSearch Service?

Amazon OpenSearch Service управляет операциями, связанными с настройкой домена: от выделения запрашиваемых инфраструктурных ресурсов в сетевой среде до установки программного обеспечения OpenSearch или Elasticsearch. Когда домен уже работает, Amazon OpenSearch Service позволяет автоматизировать стандартные задачи администрирования, такие как резервное копирование данных, мониторинг инстансов и установка исправлений ПО. Сервис Amazon OpenSearch Service интегрирован с сервисом Amazon CloudWatch, что позволяет отслеживать состояние доменов с помощью соответствующих метрик. Кроме того, Amazon OpenSearch Service позволяет изменять настройки хранилища и инстанса домена, тем самым упрощая процесс адаптации домена к потребностям приложения.

Вопрос. Поддерживает ли Amazon OpenSearch Service интерфейсы API Elasticsearch или OpenSearch с открытым исходным кодом?

Amazon OpenSearch Service поддерживает большинство распространенных интерфейсов API OpenSearch и Elasticsearch, поэтому код, приложения и популярные инструменты, которые используются в существующих средах Elasticsearch (до версии 7.10) или OpenSearch, будут работать без изменений. Полный перечень поддерживаемых операций см. в документации.

Вопрос. Какие варианты развертывания предусмотрены для Amazon OpenSearch Service в отношении зон доступности (AZ)?

Amazon OpenSearch Service предлагает клиентам возможность развертывания инстансов в одной, двух или трех зонах доступности (AZ). Для рабочих нагрузок, связанных с разработкой или тестированием, можно выбрать развертывание в одной AZ. При запуске процессов в рабочей среде рекомендуется выбирать варианты развертывания в двух или трех AZ. Для рабочих нагрузок с повышенными требованиям к доступности настоятельно рекомендуется применять развертывание в трех AZ.

Примечание. Вариант с развертыванием в трех зонах доступности доступен только в регионах, где существует не менее трех зон доступности.

Вопрос. В каких регионах Amazon OpenSearch Service предоставляет возможность развертывания в трех зонах доступности?

Сервис Amazon OpenSearch предоставляет возможность развертывания в трех зонах доступности во всех регионах, в которых он доступен, за исключением Запада США (Северная Калифорния), где поддерживаются только две зоны доступности.

Вопрос. Как можно использовать сервис Amazon OpenSearch для ресурсов, работающих в локальной среде или в других облаках?

Сервис Amazon OpenSearch – это полностью управляемый сервис, который позволяет запускать и масштабировать кластеры OpenSearch, не заботясь об управлении, мониторинге и обслуживании инфраструктуры, а также о накоплении глубоких знаний в области эксплуатации кластеров OpenSearch. Сервис Amazon OpenSearch, являющийся полностью управляемым сервисом, в настоящее время работает на AWS. Однако OpenSearch — это распределенный пакет поиска и аналитики с открытым исходным кодом, управляемый сообществом и лицензированный Apache 2.0, который можно запускать локально или в гибридных и многооблачных средах. Например, есть партнеры, которые предоставляют OpenSearch на других облачных платформах или используют OpenSearch в своих приложениях. OpenSearch помогает легче получать, защищать, искать, агрегировать, просматривать и анализировать данные для различных сценариев использования, таких как анализ журналов, поиск приложений, корпоративный поиск и многое другое. OpenSearch представляет собой легко масштабируемую систему для обеспечения быстрого доступа и реагирования на большие объемы данных с интегрированным инструментом визуализации, OpenSearch Dashboards, который упрощает пользователям изучение данных. OpenSearch работает на базе поисковой библиотеки Apache Lucene и поддерживает ряд поисковых и аналитических возможностей, таких как поиск по методу k-ближайших соседей (KNN), SQL, обнаружение аномалий, Machine Learning Commons, Trace Analytics, полнотекстовый поиск и многое другое.

Вопрос. Можно ли использовать для создания или изменения доменов консоль Amazon OpenSearch Service?

Да. Новый домен Amazon OpenSearch Service можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. В консоли также можно изменять или удалять существующие домены Amazon OpenSearch Service.

Вопрос. Поддерживает ли Amazon OpenSearch Service работу с Amazon VPC?

Да, сервис Amazon OpenSearch Service интегрирован с Amazon VPC. При выборе VPC‑доступа домену Amazon OpenSearch Service назначаются IP‑адреса из соответствующего облака VPC. Таким образом весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к доменам Amazon OpenSearch Service можно применять группы безопасности и политики IAM.

Вопрос. Можно ли использовать для выделения доменов Amazon OpenSearch Service шаблоны CloudFormation?

Да. AWS CloudFormation поддерживает Amazon OpenSearch Service. Дополнительную информацию см. в документации CloudFormation Template Reference.

Вопрос. Поддерживает ли Amazon OpenSearch Service настройку выделенных ведущих узлов?

Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.

Вопрос. Можно ли создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service?

Да. Вы можете создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service. Elasticsearch и OpenSearch автоматически распределяет индексы и связанные реплики между инстансами, относящимися к домену.

Вопрос. Как собирать данные в домен Amazon OpenSearch Service?

Amazon OpenSearch Service поддерживает три варианта сбора данных:

• Для больших объемов данных рекомендуется использовать Amazon Kinesis Data Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может преобразовывать, объединять и сжимать данные перед загрузкой.
  
• Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве хранилища данных для всех журналов, поступающих через Logstash.
  
• Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch (до версии 7.10) или OpenSearch, такие как index и bulk.
  

Вопрос. Поддерживает ли Amazon OpenSearch Service интеграцию с Logstash?

Да. Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве серверного хранилища для всех журналов, поступающих из Logstash. При управлении доступом к домену Amazon OpenSearch Service можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP‑адресов инстансов, на которых работает Logstash.

Вопрос. Поддерживает ли Amazon OpenSearch Service интеграцию с Kibana?

Да. Amazon OpenSearch Service предлагает возможности визуализации на базе OpenSearch Dashboards и Kibana (версии с 1.5 до 7.10).

Вопрос. Какие варианты хранилищ доступны для сервиса Amazon OpenSearch Service?

Можно использовать локальное хранилище на инстансах или тома EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличить или уменьшить размеры тома по мере необходимости.

Вопрос. Какие типы томов EBS поддерживает Amazon OpenSearch Service?

Можно использовать тома EBS следующих типов: магнитный, универсальный и том Provisioned IOPS.

Вопрос. Существуют ли лимиты на объем хранилища, выделяемого для домена Amazon OpenSearch Service?

Да. Сервис Amazon OpenSearch Service развертывает хранилище на основе выбора инстанса и/или размера связанного тома EBS. Максимальный объем хранилища на узел составляет 24 ТБ при использовании инстансов R6g.12xlarge с хранилищем EBS gp3. По умолчанию каждый домен Сервиса Amazon OpenSearch может использовать до 80 узлов данных, поэтому для одного домена можно выделить хранилище объемом около 1920 ТБ. Можно запросить увеличение этого лимита сервиса до 200 инстансов на домен, создав заявку в Центре поддержки AWS. При использовании 200 инстансов для одного домена можно выделить около 3 ПБ хранилища.

Вопрос. Как выделенные ведущие инстансы распределяются между зонами доступности (AZ)?

При развертывании инстансов данных в одной AZ выделенные ведущие инстансы развертываются в этой же зоне доступности. Однако при развертывании инстансов данных в двух и более AZ Amazon OpenSearch Service автоматически распределит выделенные ведущие инстансы по всем трем зонам доступности. Исключение будет сделано лишь в том случае, если регион располагает только двумя AZ или для создания выделенных ведущих инстансов выбран тип инстансов прошлого поколения, который доступен не во всех AZ. Дополнительную информацию см. в документации.

Вопрос. Какая конфигурация зон доступности рекомендуется для рабочих развертываний?

Для рабочей среды мы рекомендуем развертывание инстансов данных в трех различных AZ, поскольку это обеспечит более высокую доступность. Помимо этого мы рекомендуем всегда выделять инстансы в количестве, кратном трем, для равномерного распределения по зонам доступности. В регионах, не располагающих тремя зонами доступности, рекомендуется выполнять развертывание в двух AZ с четным количеством инстансов данных. Во всех случаях мы рекомендуем создавать три выделенных ведущих инстанса.

Вопрос. Как настроить домен для развертывания в трех зонах доступности?

Развертывание в трех зонах доступности, как для существующих, так и для вновь созданных доменов, можно настроить с помощью Консоли AWS, интерфейса командной строки или SDK. Дополнительную информацию см. в документации.

Вопрос. Предусмотрена ли плата за развертывание в трех зонах доступности?

Нет, плата за развертывание в трех зонах доступности в Amazon OpenSearch Service не начисляется. Оплате подлежит только количество инстансов в домене, а не количество зон доступности, в которых выполнено их развертывание.

Вопрос. Я больше не вижу настройки Zone Awareness в своей консоли. Означает ли это, что мой домен больше не может ее использовать?

Все домены, настроенные для развертывания в нескольких зонах доступности, используют возможность Zone Awareness, чтобы гарантировать распределение сегментов между различными AZ. В консоли теперь можно целенаправленно указать желаемый тип развертывания: в двух или трех AZ. Домены, которые ранее были настроены прежде с использованием возможности Zone Awareness, будут развертываться в двух зонах доступности, пока владелец не изменит конфигурацию. Дополнительную информацию см. в документации.

Вопрос. Как Amazon OpenSearch Service обрабатывает отказы инстансов и сбои зон доступности?

Если один или несколько инстансов в AZ недоступны или не работают, Amazon OpenSearch Service автоматически попытается запустить новые инстансы в той же зоне доступности, чтобы заменить отказавшие. В крайне редком случае, когда новые инстансы невозможно запустить в той же зоне доступности, Amazon OpenSearch Service запустит их в других доступных AZ, если домен был настроен для развертывания инстансов в нескольких зонах доступности. Как только проблема с зонами доступности будет решена, Amazon OpenSearch Service равномерно распределит инстансы между AZ, настроенными на использование с данным доменом. Дополнительную информацию см. в документации.

Вопрос. Если я применяю в домене только одну реплику для индексов, следует ли мне использовать две или три зоны доступности?

Мы рекомендуем использовать три зоны доступности даже при настройке единственной реплики. Если сбой AZ произойдет в домене с тремя зонами доступности, вы потеряете лишь треть объема своих ресурсов, но в случае сбоя в домене с двумя AZ потери составят уже половину доступных ресурсов, что представляет собой гораздо более серьезную проблему. Кроме того, если сбой доступности произойдет в домене с тремя AZ, Amazon OpenSearch Service сможет использовать две оставшихся зоны для поддержки репликации между несколькими зонами доступности. При сбое в домене с двумя AZ репликация между различными зонами будет нарушена, что еще сильнее ограничит доступность инстансов. Дополнительную информацию см. в документации.

Вопрос. Как использовать преимущества развертывания в трех зонах доступности для домена в VPC?

Количество зон доступности, в которых развернут домен, соответствует числу подсетей, сконфигурированных для работы домена в VPC. Для развертывания в трех зонах доступности необходимо настроить в VPC домена как минимум три подсети. Дополнительную информацию о настройке VPC см. в документации.

Вопрос. Могут ли программы, работающие на серверах в локальном ЦОД, получить доступ к доменам Amazon OpenSearch Service?

Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon OpenSearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, можно также использовать VPC‑доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon OpenSearch Service. Подробнее о подписании запросов см. по ссылке.

Вопрос. Как перенести данные из существующего кластера Elasticsearch / OpenSearch в новый домен Amazon OpenSearch Service?

Чтобы перенести данные из существующего кластера Elasticsearch или OpenSearch, нужно создать снимок состояния этого кластера и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon OpenSearch Service и загрузить в него данные из снимка состояния с помощью API восстановления.

Вопрос. Как выполняется масштабирование домена Amazon OpenSearch Service?

Amazon OpenSearch Service позволяет управлять процессом масштабирования доменов Amazon OpenSearch Service с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon OpenSearch Service выполняется путем добавления, удаления или изменения инстансов или томов хранилища в соответствии с потребностями приложения. Сервис Amazon OpenSearch Service интегрирован с Amazon CloudWatch, благодаря чему можно отслеживать состояние доменов Amazon OpenSearch Service с помощью метрик. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.

Вопрос. Возникают ли перерывы в работе сервиса при масштабировании домена Amazon OpenSearch Service?

Нет. Масштабирование домена Amazon OpenSearch Service посредством добавления или изменения инстансов и томов хранилища выполняется в процессе работы и не требует остановки сервиса.

Вопрос. Поддерживает ли Amazon OpenSearch Service репликацию в различных зонах доступности?

Да. В случае использования реплик для индексов OpenSearch / Elasticsearch и развертывания в нескольких зонах доступности Amazon OpenSearch Service автоматически распределит основные и реплицированные сегменты по инстансам, размещенным в разных зонах доступности.

Вопрос. Передает ли Amazon OpenSearch Service какие‑либо метрики производительности в Amazon CloudWatch?

Да. Amazon OpenSearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.

Вопрос. Мне необходимо выполнить анализ безопасности или устранить неполадки в работе существующего развертывания Amazon OpenSearch Service. Можно ли просмотреть историю всех вызовов API сервиса Amazon OpenSearch Service в аккаунте?

Да. AWS CloudTrail – это веб‑сервис, который записывает вызовы API AWS для аккаунта и предоставляет файлы журналов. История вызовов API AWS в AWS CloudTrail позволяет проводить анализ безопасности и аудит соответствия, а также отслеживать изменения ресурсов. Подробнее о сервисе CloudTrail см. на странице сведений об AWS CloudTrail. Включить его можно на главной странице CloudTrail в Консоли управления AWS.

Вопрос. Что такое снимок состояния?

Снимок состояния – это копия домена Amazon OpenSearch Service, созданная на определенный момент времени.

Вопрос. Зачем нужны снимки состояния?

Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon OpenSearch Service с уже загруженными данными или создания нового домена Amazon OpenSearch Service с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния хранятся в Amazon S3.

Вопрос. Может ли Amazon OpenSearch Service создавать снимки состояния автоматически?

Да. По умолчанию Amazon OpenSearch Service создает автоматические снимки состояния каждого домена Amazon OpenSearch Service каждый час и хранит их в течение 14 дней.

Вопрос. Как долго в Amazon OpenSearch Service хранятся почасовые автоматические снимки состояния?

Amazon OpenSearch Service хранит почасовые автоматические снимки состояния за последние 14 дней.

Вопрос. Взимается ли плата за создание ежедневных почасовых автоматических снимков состояния?

Плата за создание почасовых автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon OpenSearch Service. Ими можно воспользоваться для восстановления узлов.

Вопрос. Можно ли при необходимости создавать дополнительные снимки состояния доменов Amazon OpenSearch Service?

Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon OpenSearch Service, можно использовать API снимков состояния. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам Amazon S3.

Вопрос. Можно ли использовать снимки состояния, созданные вручную, для восстановления домена в случае сбоя?

Да. Создать новый домен Amazon OpenSearch Service и загрузить данные из снимка состояния в новый домен Amazon OpenSearch Service можно с помощью API восстановления Elasticsearch / OpenSearch.

Вопрос. Что произойдет со снимками состояния, когда домен Amazon OpenSearch Service будет удален?

Ежедневные снимки состояния, сохраненные сервисом Amazon OpenSearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon OpenSearch Service.

Вопрос. Какие типы журналов OpenSearch / Elasticsearch предоставляет Amazon OpenSearch Service?

Amazon OpenSearch Service предоставляет три типа журналов Elasticsearch или OpenSearch через Amazon CloudWatch Logs: журналы ошибок, журналы медленных запросов для операций поиска и журналы медленных запросов для операций индексирования. Эти журналы позволяют находить и устранять проблемы с производительностью и стабильностью в домене.

Вопрос. Что такое журналы медленных запросов?

Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. OpenSearch и Elasticsearch предоставляет два вида журналов медленных запросов:

• Журналы медленных запросов для операций индексирования содержат подробные данные о процессе индексирования. Их можно использовать для оптимизации настроек индексирования.
  
• Журналы медленных запросов для операций поиска содержат данные о скорости выполнения запросов и извлечения данных. С их помощью можно оптимизировать выполнение любых операций поиска в OpenSearch или Elasticsearch.
  

Подробнее о журналах медленных запросов см. в документации OpenSearch.

Вопрос. Как включить журналы медленных запросов в Amazon OpenSearch Service?

Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос. Можно ли включить журналы медленных запросов для определенных индексов?

Да. Можно включить или отключить журналы медленных запросов для определенного индекса в его настройках. Подробнее см. в документации.

Вопрос. Происходит ли при включении журналов медленных запросов в Amazon OpenSearch Service автоматическое включение журналов для всех индексов?

Нет. Включение журналов медленных запросов в Amazon OpenSearch Service предоставляет возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос. Если отключить журналы медленных запросов в Amazon OpenSearch Service, прекратится ли создание файлов журналов?

Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Вопрос. Можно ли изменить степень детализации при ведении журналов?

Степень детализации при ведении журналов можно изменять только для журналов медленных запросов. OpenSearch и Elasticsearch поддерживают несколько уровней ведения журналов медленных запросов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации OpenSearch.

Вопрос. Приведет ли включение журналов медленных запросов или журналов ошибок к дополнительным затратам?

При включении журналов медленных запросов или журналов ошибок Amazon OpenSearch Service начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon OpenSearch Service не взимает плату за включение журналов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.

Вопрос. Какие типы журналов ошибок предоставляет Amazon OpenSearch Service?

OpenSearch использует Apache Log4j 2 и собственные уровни журналов (в порядке возрастания степени серьезности ошибки): TRACE, DEBUG, INFO, WARN, ERROR и FATAL. При включении журналов ошибок Amazon OpenSearch Service публикует строки журналов со статусом WARN, ERROR и FATAL и некоторых ошибок уровня DEBUG в CloudWatch. Дополнительную информацию см. в документации.

Вопрос. Как включить журналы ошибок в Amazon OpenSearch Service?

Журналы ошибок можно включить за один щелчок мышью в консоли AWS, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Вопрос. Можно ли включить журналы ошибок только для определенных индексов?

Нет, журналы ошибок предоставляются для всего домена. Это значит, что при включении журналов станут доступны записи из всех индексов домена.

Вопрос. Для всех ли версий Elasticsearch, поддерживаемых Amazon OpenSearch Service, доступны журналы ошибок?

Нет, журналы ошибок доступны только для Elasticsearch версии 5.x и новее.

Вопрос. Существует ли ограничение по длине записей в журнале?

Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.

Вопрос. Каковы рекомендации по использованию журналов медленных запросов?

Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Подробнее см. в документации.

Вопрос. Как получить журналы из CloudWatch Logs?

CloudWatch предлагает множество способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.

Вопрос. Для всех ли версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service, доступны журналы медленных запросов?

Да. Журналы медленных запросов можно включить для всех версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service. Однако для каждой версии Elasticsearch существуют некоторые отличия в способе настройки параметров журнала. Подробнее см. в документации.

Вопрос. Приводит ли включение или выключение ведения журналов к перебоям в работе кластера?

Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала происходит не мгновенно.

Вопрос. Какие версии Elasticsearch и OpenSearch поддерживают местное обновление?

В настоящее время Amazon OpenSearch Service поддерживает местное обновление версии для доменов с любой версией OpenSearch и Elasticsearch версий 5.x и выше. При обновлениях поддерживаются следующие целевые версии: 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1, 7.4, 7.7, 7.8, 7.9 и 7.10. Дополнительную информацию см. в документации.

Вопрос. В домене используется Elasticsearch версии ниже 5.x. Как обновить такой домен?

Подробнее о миграции с различных версий Elasticsearch см. в документации.

Вопрос. Будет ли домен недоступен при выполнении местного обновления?

Нет. В ходе обновления домен остается доступным. Однако часть процесса обновления предполагает перемещение сегментов, и это может сказаться на производительности домена. Обновление рекомендуется проводить при низкой нагрузке на домен.

Вопрос. Как проверить возможность обновления версии Elasticsearch, используемой в домене?

Местное обновление версии доступно только для доменов, в которых используется Elasticsearch версии 5.x и новее. Если в домене используется версия 5.x или новее, можно выполнить проверку наличия обновления, которая покажет, можно ли обновить домен до требуемой версии. Подробнее см. в документации.

Вопрос. Какие тесты проводит Amazon OpenSearch Service, чтобы определить возможность обновления доменов?

Подробный список тестов, проводимых для определения наличия обновления, см. в документации.

Вопрос. Можно ли изменять конфигурацию домена в ходе обновления версии?

Нет. После запуска местного обновления версии вносить изменения в конфигурацию домена нельзя, пока процесс обновления не завершится или не произойдет его сбой. В ходе обновления можно считывать и записывать данные. Кроме того, можно удалить домен. Это приведет к прекращению обновления и удалению домена.

Вопрос. Что происходит с автоматически создаваемым снимком состояния системы в ходе местного обновления версии?

Перед обновлением версии автоматически создается снимок состояния системы. Обновление начинается только в случае успешного создания снимка. Если время начала автоматического создания снимка состояния наступает в ходе обновления, снимок в этот день не создается и переносится на следующий.

Вопрос. Какие меры принимает Amazon OpenSearch Service на случай ошибок, которые могут внезапно возникнуть в ходе обновления версии?

Перед запуском процесса обновления Amazon OpenSearch Service выполняет набор тестов для поиска известных проблем, которые могут препятствовать обновлению. Если проблемы не обнаружены, сервис создает снимок состояния домена и запускает процесс обновления в случае успешного создания снимка. Процесс обновления не начинается, если на каком‑либо этапе обнаруживаются ошибки.

Вопрос. Что происходит при обнаружении ошибок в системе в ходе местного обновления версии?

Если обнаруженные ошибки незначительны и могут быть исправлены, Amazon OpenSearch Service автоматически предпринимает попытку исправить их и возобновить обновление. Однако если ошибка препятствует обновлению, сервис возвращается к снимку состояния, созданному перед обновлением, и фиксирует ошибку в журнале. Подробнее о просмотре журналов, созданных в ходе обновления, см. в документации.

Вопрос. Можно ли просмотреть историю обновлений домена?

Да. Журналы обновления можно просмотреть в консоли AWS. Их также можно запросить с помощью интерфейса командной строки или пакетов SDK. Подробнее см. в документации.

Вопрос. Можно ли приостановить или отменить обновление версии после его запуска?

Нет. После запуска обновление нельзя приостановить или отменить. Оно будет выполняться до завершения или пока не произойдет сбой.

Вопрос. Можно ли выполнять местное обновление версии в нескольких доменах одновременно?

Да. Однако чтобы для всех доменов сохранялась одна версия, рекомендуется выполнить проверку наличия обновления во всех доменах, прежде чем обновлять их. Этот дополнительный этап помогает обнаружить ошибки в домене, которые могут отсутствовать в других.

Вопрос. Сколько времени занимает местное обновление версии?

В зависимости от объема данных и размера кластера обновления могут занимать от нескольких минут до нескольких часов.

Вопрос. Можно ли просто обновить версию домена, не сохраняя данные?

Нет. В ходе местного обновления версии предусмотрено восстановление всех данных в кластере. Чтобы обновить только домен, можно сделать снимок данных, удалить все индексы из домена и затем запустить местное обновление версии. Как вариант, можно создать отдельный домен с более новой версией, после чего восстановить данные в этот домен.

Вопрос. Можно ли выполнить возврат к более ранней версии, если новая версия не устраивает?

Нет. Если вам необходимо перейти на более старую версию, обратитесь в службу поддержки AWS Support для восстановления автоматического снимка состояния, сделанного до обновления, на новом домене. Если снимок состояния исходного домена был сделан вручную, вы можете выполнить восстановление самостоятельно.

Вопрос. Что такое развертывание в нескольких зонах доступности с резервным инстансом?

Развертывание в нескольких зонах доступности с резервным инстансом – это новый вариант развертывания Сервиса Amazon OpenSearch, обеспечивающий высокую доступность и стабильную производительность для критически важных рабочих нагрузок. Благодаря этой технологии управляемые кластеры Сервиса OpenSearch устойчивы к сбоям инфраструктуры, таким как выбывание узлов или отказ одной зоны доступности, что не влияет на производительность или доступность даже в случае сбоя одной зоны доступности. Развертывание в нескольких зонах доступности с резервным инстансом обеспечивает дополнительное преимущество в виде упрощения настройки кластера и управления им за счет применения передовых методов работы и снижения сложности.

Вопрос. Каковы предварительные требования для создания или обновления кластера для развертывания в нескольких зонах доступности с резервным инстансом?

Чтобы включить развертывание в нескольких зонах доступности с резервным инстансом, управляемые кластеры должны соответствовать следующим условиям:

• Запустите OpenSearch 1.3 или более поздней версии.
• Развертывайте в регионах AWS с помощью технологии 3-AZ. В настоящее время регион AWS в Северной Калифорнии не поддерживает технологию 3-AZ и поэтому не подходит для развертывания в нескольких зонах доступности.
• Количество узлов данных должно быть кратно трем.
• Количество копий данных (основная + копия) должно быть кратно трем.
• Следуйте рекомендациям по размеру для лидера (рекомендуемый размер зависит от количества узлов, сегментов и сопоставлений в вашем кластере).
  

Вопрос. Какие сценарии сбоев охватывает, а какие не охватывает эта функция?

Благодаря развертыванию в нескольких зонах доступности Сервис Amazon OpenSearch обнаруживает и автоматически восстанавливает некоторые отказы инфраструктуры. Сервис Amazon OpenSearch автоматически переключается с активных узлов на резервные менее чем за минуту при возникновении любого из следующих событий:

• Потеря одной активной зоны доступности или всех узлов в активной зоне доступности
• Потеря подключения к одной активной зоне доступности
• Аппаратный сбой инстанса в активной зоне доступности
• Сбой хранилища на узле в активной зоне доступности

В настоящее время развертывание в нескольких зонах доступности не распространяется на следующие события:

• Потеря основного кворума, так как восстановление после этого события может занять несколько минут
• Потеря нескольких зон доступности
• Потеря подключения к региону
• Потеря более 50 % узлов в нескольких зонах доступности
• Время простоя, вызванное нехваткой вычислительных ресурсов или хранилища в результате изменения характеристик рабочей нагрузки
• Время простоя, вызванное запросами маршрута
• Потеря одного или нескольких сервисов, от которых зависит Сервис Amazon OpenSearch, таких как ARPS и ALB
• Время простоя панели управления OpenSearch во время обновления версий
  

Вопрос. Нужно ли менять размер управляемых кластеров, использующих развертывание в нескольких зонах доступности? Как определить размер управляемых кластеров для развертывания в нескольких зонах доступности?

Нет. В принципе, рекомендации по размерам остаются прежними. Для развертывания в нескольких зонах доступности существуют предварительные требования, упрощающие ментальную модель, необходимую для определения размера кластера. Подход к определению размера управляемого кластера заключается в том, что необходимо определить емкость, необходимую для обслуживания рабочей нагрузки, а затем добавить 50 % для резервирования. Основное различие между текущей опцией «Зональная осведомленность» и опцией развертывания в нескольких зонах доступности заключается в том, как используются резервные или дополнительные ресурсы для поддержания доступности. Для развертывания в нескольких зонах доступности требуется наличие хотя бы одной копии данных в каждой зоне доступности, чтобы можно было явно резервировать емкость в одной зоне доступности. Эта резервная емкость служит целевым ресурсом для переключения при сбое в работе зоны доступности или отказе инстанса. Существующая модель требует поддержания оптимального уровня ресурсов для выполнения рабочей нагрузки. Вы должны постоянно отслеживать кластер на предмет проблем с размерами и выполнять корректирующие действия по мере изменения характеристик рабочей нагрузки.

Вопрос. Означает ли выбор развертывания в нескольких зонах доступности то, что мне больше не нужно следить за тем, чтобы размер и ресурсы кластера соответствовали моим рабочим нагрузкам?

Нет. Сервис Amazon OpenSearch работает по модели совместной ответственности. Вы несете ответственность за соответствие размера кластера рабочей нагрузке. Развертывание в нескольких зонах доступности с резервным инстансом упрощает ментальную модель настройки кластера. Следует продолжать отслеживать показатели ошибок и задержек, а также данные об использовании хранилища, процессора и оперативной памяти на предмет сигналов о том, что кластер перегружен и его, возможно, потребуется масштабировать.

Вопрос. Понесу ли я дополнительные расходы при использовании развертывания в нескольких зонах доступности с резервным инстансом?

Нет. Развертывание в нескольких зонах доступности с резервным инстансом доступно без дополнительной оплаты. Вы продолжаете платить за ресурсы, развернутые в кластере для обслуживания рабочей нагрузки. Если ваш кластер уже выполняет лучшие рекомендации и содержит не менее трех копий данных для кластера 3-AZ, вы вряд ли понесете дополнительные расходы при переходе на развертывание в нескольких зонах доступности. Однако если размер вашего кластера невелик или в нем недостаточно резервных ресурсов для выполнения рабочей нагрузки, для повышения доступности и производительности необходимо добавить емкость для перехода на развертывание в нескольких зонах доступности. Резервная емкость зарезервирована из настроенной общей емкости.

Вопрос. Что гарантирует соглашение об уровне обслуживания (SLA) сервиса Amazon OpenSearch Service?

Соглашение об уровне обслуживания (SLA) Amazon OpenSearch Service гарантирует бесперебойное ежемесячное время работы сервиса Amazon OpenSearch Service на уровне не менее 99,9 %.

Вопрос. Как узнать, могу ли я претендовать на компенсацию по соглашению об уровне обслуживания?

Вы можете претендовать на компенсацию в рамках SLA для Amazon OpenSearch Service в том случае, если домены Amazon OpenSearch Service, расположенные в нескольких зонах доступности, демонстрируют в течение любого оплаченного месяца время бесперебойной работы на уровне менее 99,9 %.

С условиями и положениями соглашения, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений о соглашении об уровне обслуживания Сервиса Amazon OpenSearch.

Вопрос. Что представляет собой поиск по нескольким кластерам?

Поиск по нескольким кластерам – это возможность Elasticsearch и OpenSearch, которая позволяет выполнять запросы и агрегировать данные на двух подключенных кластерах. Такая возможность обеспечивается путем настройки компактного однонаправленного соединения между участвующими кластерами.

Вопрос. Каковы минимальные требования к домену для участия в поиске по нескольким кластерам?

Домены, участвующие в поиске по нескольким кластерам, должны удовлетворять следующим критериям:

• Участвующие домены должны использовать OpenSearch или Elasticsearch версии 6.8 или новее
• На участвующих доменах должно быть включено шифрование данных при передаче
• На участвующих доменах должен применяться точный контроль доступа (FGAC).
• При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.

Вопрос. На каких типах инстансов поддерживается поиск по нескольким кластерам?

В настоящий момент поиск по нескольким кластерам поддерживается на следующих типах инстансов.

• Семейство i2, i3
• Семейство r3, r4, r5
• Семейство m4, m5
• Семейство c4, c5
• Семейство Graviton

Вопрос. На каких типах инстансов поиск по нескольким кластерам не поддерживается?

Поиск по нескольким кластерам не поддерживается на инстансах семейств t2 и m3 в связи с техническими ограничениями.

Вопрос. Можно ли настроить поиск по нескольким кластерам для доменов из двух разных аккаунтов AWS?

Да. Участвующие домены могут принадлежать двум разным аккаунтам AWS.

Вопрос. Можно ли настроить поиск по нескольким кластерам для доменов из двух разных регионов AWS?

Нет.

Вопрос. Как начать использовать поиск по нескольким кластерам?

Чтобы начать работу с поиском по нескольким кластерам, следуйте документации.

Вопрос. Что представляет репликация в нескольких кластерах?

Репликация в нескольких кластерах – новая возможность, которая позволяет клиентам Сервиса Amazon OpenSearch автоматизировать копирование и синхронизацию индексов из одного кластера в другой с низкой задержкой в одном или разных регионах AWS.

Вопрос. Каковы минимальные требования к домену для участия в репликации в нескольких кластерах?

Домены, участвующие в репликации в нескольких кластерах, должны удовлетворять следующим критериям:

• Участвующие домены должны использовать Elasticsearch версии 7.10
• На участвующих доменах должно быть включено шифрование данных при передаче
• На участвующих доменах должен применяться точный контроль доступа (FGAC).
• При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.

Вопрос. Можно ли настроить репликацию в нескольких кластерах для доменов из двух разных регионов AWS?

Да, домены из двух разных регионов AWS могут участвовать в репликации в нескольких кластерах.

Вопрос. Поддерживает ли репликация в нескольких кластерах хранилища Ultrawarm и хранилища «холодных» данных?

Нет. Текущая версия репликации в нескольких кластерах не поддерживает хранилища Ultrawarm и хранилища «холодных» данных.

Вопрос. Какова стоимость репликации в нескольких кластерах?

Да. К данным, которые переносятся в Сервис Amazon OpenSearch и из него, применяется стандартная плата за передачу данных AWS.

Вопрос. Почему название Amazon Elasticsearch Service сменилось на Amazon OpenSearch Service?

12 апреля 2021 года мы объявили о создании проекта OpenSearch – развиваемой сообществом ветви Elasticsearch и Kibana с открытым исходным кодом. Мы взяли на себя обязательство долгосрочного инвестирования в OpenSearch, чтобы по-прежнему давать пользователям безопасный, высококачественный, полностью открытый набор инструментов поиска и аналитики с насыщенной стратегией новых и инновационных функциональных возможностей. В проект входят OpenSearch (производная Elasticsearch 7.10.2) и OpenSearch Dashboards (производная Kibana 7.10.2). 12 июля 2021 года мы запустили OpenSearch версии 1.0. В рамках нашего долгосрочного взаимодействия с OpenSearch 7 сентября 2021 года мы добавили в управляемый сервис поддержку OpenSearch 1.0 и изменили название с Amazon Elasticsearch Service на Amazon OpenSearch Service. Наряду с OpenSearch 1.0 мы по-прежнему поддерживаем устаревшие версии Elasticsearch до 7.10. Вы можете быть уверены, что изменилось лишь название. Мы стремимся все также предоставлять услуги отличного качества без какого-либо влияния на текущие операции, методы разработки или работу с бизнесом. Узнайте больше об OpenSearch на странице https://opensearch.org/.

Вопрос. Необходимо ли мне, как клиенту, предпринимать какие-либо действия из-за изменения названия?

Мы хотели провести смену названия как можно более безболезненно для вас. Есть аспекты, требующие ваших действий для получения максимальной пользы от сервиса. Например, новые SDK / конфигурации API. Несмотря на то, что существующий SDK будет совместим и продолжит работать, любая новая функциональная возможность, требующая обновленной конфигурации API, будет реализована только в новом SDK. Поэтому мы рекомендуем на него перейти. Кроме того, независимо от нового пакета SDK, мы настоятельно рекомендуем вам переместить существующие политики IAM, чтобы использовать переименованные конфигурации API. На данный момент ваши текущие политики IAM работают со старым определением API. Тем не менее, мы перейдем на новую проверку разрешений на базе API и в конечном итоге потребуем от вас использования новых API в политиках (в частности, для тех API, в которых меняется название; например, CreateElasticsearchDomain для CreateDomain). Подробнее см. в документации.

Вопрос. Нужно ли мне переходить на новый SDK для обновления до OpenSearch 1.0?

Нет. Мы позаботимся, с учетом обратной совместимости, о том, чтобы ваши текущие настройки продолжали работать с OpenSearch 1.0. Тем не менее, как упоминалось выше, мы рекомендуем в дальнейшем перейти на последнюю версию SDK для более четкой работы на современном уровне.

Вопрос. Есть ли какие-либо изменения в ценообразовании в связи со сменой названия?

Нет, ценообразование не меняется.

В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.

Вопрос. Я использую движок Elasticsearch в сервисе Amazon OpenSearch. Почему необходимо обновление до движка OpenSearch 1.x? В чем заключаются преимущества?

Обновление до OpenSearch 1.x гарантирует, что ваша поисковая инфраструктура будет создана на основе растущего и динамичного проекта с открытым кодом и лицензий Apache. Это предоставит вам доступ ко множеству инновационных улучшений и функциональных возможностей, доступных в OpenSearch 1.2 (на момент написания этой статьи).  Такие функциональные возможности, как защита корпоративного уровня, оповещения, управление жизненным циклом данных, наблюдение, обнаружение отклонений на основе машинного обучения и многие другие, являются частью сервиса OpenSearch и предоставляются без дополнительной платы за лицензию.

Вопрос. Возникнет ли простой в случае перехода на другую версию?

Мы используем сине-зеленый процесс развертывания во время перехода на новую версию. Во время сине-зеленого процесса сервис добавляет узлы к кластеру OpenSearch в новой конфигурации и версии, переносит данные из старых узлов и отключает новые узлы после завершения переноса данных. Пока выполняется сине-зеленый процесс, API поиска и индексирования доступны и функционируют в обычном режиме. Хотя сине-зеленый процесс разработан так, чтобы он не мешал запросам и индексированию, при внесении некоторых изменений (особенно касающихся настроек безопасности) информационные панели будут недоступными.

Вопрос. Прекращает ли AWS поддержку старых версий сервиса Elasticsearch?

AWS поддерживает 19 версий Elasticsearch с лицензией Apache 2.0. В настоящее время прекращение поддержки какой-либо из этих версий не происходит и не планируется.

Вопрос. Приведет ли переход на новую версию к запуску сине-зеленого процесса?  Если нет, то каков процесс перехода наших узлов на новую версию?

Да, переход на новую версию приведет к запуску сине-зеленого процесса развертывания. Ознакомьтесь с подготовкой к переходу на новую версию и другими инструкциями здесь.

Вопрос. Я хочу перейти на сервис Amazon OpenSearch 1.x, чтобы воспользоваться преимуществами инстансов AWS Graviton2, но мне мешают мои существующие зарезервированные инстансы (RI).  Чем вы можете помочь?

Обратитесь к своей команде обслуживания клиентов AWS для получения информации по вашей конкретной ситуации с RI.

Вопрос. Что мне следует запланировать перед началом перехода на сервис Amazon OpenSearch версии 1.x или более поздней?

Проект OpenSearch 1.0 – это форк Elasticsearch 7.10.2 с открытым исходным кодом. Он совместим с Elasticsearch 7.10 – не нужно менять использование. Для переноса можно обновить домен любой предыдущей версии в сериях 6.x и 7.x до версии Elasticsearch 7.10, создать снимок состояния и восстановить его в домене, где работает сервис OpenSearch 1.x. Некоторые клиенты или инструменты включают проверку версий, из-за чего клиент или инструмент может не работать с сервисом OpenSearch. При переходе на новую версию необходимо включить режим совместимости, чтобы обойти эти проверки версий.

Вопрос. Могу ли я продолжать использовать мои существующие клиенты, инструменты для сбора и получения данных с сервисом Amazon OpenSearch 1.x? 

В большинстве случаев вы можете продолжать использовать существующие клиенты. API и ключевые функции поиска совместимы с Elasticsearch версии 7.10.2. Если у вас более старые клиенты, если клиенты выполняют проверку версий или используют функции, предназначенные для более старых версий Elasticsearch, например основных версий 5 или 6, рекомендуем привести эти клиенты к минимальному стандарту поддержки 7.10.2, чтобы обеспечить плавный переход.

Проект OpenSearch поддерживает самые разные клиенты, которые специально созданы для работы с версиями OpenSearch движка в сервисе Amazon OpenSearch. Проверьте свой клиент, сверяясь со списком новейших клиентов OpenSearch и поддерживаемых языков программирования для этих клиентов.

Можно включить функцию режима совместимости, чтобы обеспечить взаимодействие с клиентами от других поставщиков, но не забудьте проверить версию, указанную OpenSearch. Включайте этот параметр, чтобы сервис с версией 7.10.2 соответствовал клиентам, разработанным до выпуска движка сервиса OpenSearch.

Вопрос. У меня работает Elasticsearch версии 5.x или более ранней. Какой алгоритм перехода на новую версию для меня оптимальный?

Индексы Elasticsearch 5.x несовместимы с Elasticsearch 7.10 или OpenSearch 1.x. Вам нужно создать новый индекс и загрузить данные из своего источника. Если у вас выполняется рабочая нагрузка аналитики журналов, вы можете проанализировать, поддерживает ли ваша стратегия хранения данных параллельное выполнение, пока создаете полный набор данных в новом домене.

Вопрос. Есть ли партнеры, которые могут помочь мне с переходом на новую версию?

Да, запросите список партнеров из своего региона, которые работают в вашей отрасли с проектами нужной сложности, отправив письмо на адрес opensearchmigration-si-support@amazon.com. Участники партнерской сети AWS (APN) прошли обучение и достаточно опытны, чтобы помочь вам выполнить обновление до новой версии. 

Вопрос. Останется ли сервис Amazon OpenSearch совместимым с Elasticsearch в будущем? Каковы планы на будущее?

OpenSearch 1.0 – это форк Elasticsearch 7.10.2. OpenSearch и Elasticsearch совместимы. Если вы включите режим совместимости, клиенты Elasticsearch также будут совместимы с OpenSearch 1.0.

Сервис Amazon OpenSearch не предлагает и не будет предлагать версии движка Elasticsearch после версии 7.10.2.

Как объявляла компания AWS, когда мы создавали форк Elasticsearch, то намеревались сформировать потрясающее сообщество OpenSearch, и нам это удалось. Мы опубликовали дорожную карту для OpenSearch, внесли пожелания сообщества и достигли консенсуса относительно приоритетов функций. Мы предпримем все разумные усилия, чтобы сохранить совместимость с Elasticsearch. Наша цель – расти вместе с нашим сообществом и клиентами сервиса Amazon OpenSearch.

Вы можете напрямую обновить Elasticsearch и Kibana (версий от 6.8.0 до 7.10.2), а также Open Distro для Elasticsearch (ODFE) 1.x до сервиса OpenSearch 1.0. Для последовательного обновления ODFE до OpenSearch мы рекомендуем сначала перейти на ODFE 1.13, а затем – на OpenSearch 1.0.

Ресурсы для миграции:
Миграция аналитики
Миграция в сервис Amazon OpenSearch

Вопрос. Почему следует использовать интеграцию сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon DynamoDB?

Интеграция с нулевым использованием ETL с Amazon DynamoDB позволяет устранить сложности эксплуатации, связанные с организацией репликации данных из рабочего хранилища данных в хранилище поисковых данных. Конвейеры данных, используемые для синхронизации разных хранилищ данных, могут быть сложными и дорогостоящими в создании и управлении. Кроме того, периодически возникают ошибки, которые трудно отследить. Данная интеграция позволяет клиентам Amazon DynamoDB получать результаты поиска по транзакционным данным в режиме, близком к реальному времени, предлагая полностью управляемое решение, которое предоставляет возможность сделать рабочие данные из Amazon DynamoDB доступными в сервисе Amazon OpenSearch в течение нескольких секунд после их записи.

Вопрос. Как данная интеграция с нулевым использованием ETL позволяет реплицировать данные из Amazon DynamoDB в сервис Amazon OpenSearch?

При интеграции сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon DynamoDB применяется функция получения данных с помощью Amazon OpenSearch для беспрепятственного перемещения рабочих данных из Amazon DynamoDB в сервис Amazon OpenSearch. Чтобы включить интеграцию, сначала нужно выбрать таблицу Amazon DynamoDB, данные которой подлежат репликации. Функция интеграции с нулевым использованием ETL позволяет создать конвейер получения данных Amazon OpenSearch в аккаунте клиента. Данный конвейер обеспечивает репликацию данных в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch. Функция получения данных Amazon OpenSearch распознает структуру таблиц Amazon DynamoDB и затем загружает в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch существующие данные из таблиц DynamoDB. При желании можно указать схему индексов, которые будут созданы в сервисе Amazon OpenSearch. Любые обновления таблицы DynamoDB также реплицируются в сервис Amazon OpenSearch без вмешательства клиентов в ручном режиме.

Вопрос. Как происходит преобразование данных при их перемещении из Amazon DynamoDB в сервис Amazon OpenSearch?

Данная функция с нулевым использованием ETL использует получение данных Amazon OpenSearch для перемещения данных из Amazon DynamoDB в сервис Amazon OpenSearch и использует нативные возможности преобразования данных конвейеров получения данных Amazon OpenSearch для агрегации и фильтрации данных в процессе их перемещения. При перемещении данных из таблицы Amazon DynamoDB клиенты могут удалить несколько полей или создать новые на основе агрегации уже существующих полей. Чтобы получить индивидуальные возможности преобразования данных, клиенты при желании также могут написать собственную логику для получения данных Amazon OpenSearch. Для других пользователей, которые просто хотят перенести все свои данные из источника в получатель, функция получения данных Amazon OpenSearch предоставляет готовые чертежи, с помощью которых можно выполнять интеграцию всего несколькими щелчками мыши.

Вопрос. Какие разрешения системы безопасности необходимы для применения интеграции с нулевым использованием ETL для DynamoDB?

Чтобы обеспечить функцию получения данных OpenSearch необходимыми разрешениями на репликацию данных в обеих системах, интеграция DynamoDB с нулевым использованием ETL с сервисом OpenSearch создает роль IAM с необходимыми разрешениями для чтения данных из таблиц Amazon DynamoDB, а также записи в домен или коллекцию Amazon OpenSearch. Затем эту роль берут на себя конвейеры получения данных Amazon OpenSearch, гарантирующие постоянное соблюдение надлежащего уровня безопасности при перемещении данных от источника к конечной точке.

Вопрос. Как отслеживать состояние интеграции между Amazon DynamoDB и сервисом Amazon OpenSearch?

Все метрики, связанные с интеграцией с нулевым использованием ETL с Amazon DynamoDB, можно просматривать на информационных панелях получения данных Amazon OpenSearch, а также в журналах реального времени в Amazon CloudWatch. Это позволяет клиентам настраивать пользовательские оповещения, которые срабатывают при превышении заданных пользователем пороговых значений.

Вопрос. Как работает интеграция сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon S3?

Архитектура механизма запросов сервиса OpenSearch была изменена с целью поддержки анализа рабочих данных, хранящихся в облачных хранилищах объектов, таких как Amazon S3 и озера данных на базе S3. Данные при этом не дублируются. За считанные секунды клиенты могут повысить производительность своих запросов, а также создать быстро загружаемые информационные панели, используя встроенные в новую интеграцию возможности ускорения запросов.

Вопрос. Как начать использовать интеграцию Amazon OpenSearch с нулевым использованием ETL с Amazon S3?

Чтобы начать работу с Консоли управления AWS, клиенты настраивают новый источник данных из существующего домена сервиса OpenSearch под управлением сервиса OpenSearch версии 2.11 или более новой. При настройке нового источника данных Direct Query клиентам необходимо предоставить доступ для чтения и записи к Amazon S3 и каталогу данных AWS Glue, чтобы упростить выполнение запросов к данным в Amazon S3 из сервиса OpenSearch. Клиенты могут настроить политики IAM, чтобы ограничить доступ к определенным корзинам в Amazon S3 или к ресурсам в каталоге данных AWS Glue. После настройки нового источника данных в консоли клиент переходит в сервис OpenSearch и настраивает управление доступом на основе ролей, ускорение для повышения производительности запросов, а также (по желанию) готовые панели управления для популярных шаблонов типов журналов, таких как журналы VPC Flow, эластичного балансировщика нагрузки и NGINX. Плата с клиентов взимается за потребленные вычислительные ресурсы в виде вычислительных единиц OpenSearch Direct Query (OCU, оплата за использование). После настройки нового источника данных клиент может начать запрашивать свои данные непосредственно из API OpenSearch или информационных панелей OpenSearch.

Вопрос. Как рассчитываются цены на интеграцию сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon S3?

Клиенты платят только за ресурсы, потребляемые рабочей нагрузкой. Сервис OpenSearch предусматривает оплату только вычислительных ресурсов, необходимых для прямых запросов внешних данных, а также для поддержки дополнительных индексов в сервисе OpenSearch. Вычислительная мощность измеряется в вычислительных единицах (OCU) OpenSearch, которые также используются в бессерверном Amazon OpenSearch и в функции получения данных Amazon OpenSearch. Количество OCU в точности соответствует количеству виртуальных ЦПУ и памяти, необходимых для запроса или поддержания индексов на основе данных. Появится одна запись для вычислений в OCU-часах с меткой для прямого запроса. Счета за работу OCU выставляются на почасовой основе с поминутной детализацией. Если запросы или действия по индексированию не активны, OCU не потребляются. Затраты на Amazon S3 или каталог данных AWS Glue оплачиваются в аккаунте клиента отдельно. Дополнительные сведения о ценах см. на странице цен на сервис Amazon OpenSearch.