Вопросы и ответы по Amazon OpenSearch Service

Да. Новый домен Amazon OpenSearch Service можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. В консоли также можно изменять или удалять существующие домены Amazon OpenSearch Service.

Да, сервис Amazon OpenSearch Service интегрирован с Amazon VPC. При выборе VPC‑доступа домену Amazon OpenSearch Service назначаются IP‑адреса из соответствующего облака VPC. Таким образом весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к доменам Amazon OpenSearch Service можно применять группы безопасности и политики IAM.

Да. AWS CloudFormation поддерживает Amazon OpenSearch Service. Дополнительную информацию см. в документации CloudFormation Template Reference.

Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.

Да. Вы можете создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service. Elasticsearch и OpenSearch автоматически распределяет индексы и связанные реплики между инстансами, относящимися к домену.

Amazon OpenSearch Service поддерживает три варианта сбора данных:

• Для больших объемов данных рекомендуется использовать Amazon Kinesis Data Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может перед загрузкой данных может преобразовывать, объединять и в пакеты и сжимать данные.
• Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве хранилища данных для всех журналов, поступающих через Logstash.
• Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch (до версии 7.10) или OpenSearch, такие как index и bulk.

Да. Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве серверного хранилища для всех журналов, поступающих из Logstash. При управлении доступом к домену Amazon OpenSearch Service можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP‑адресов инстансов, на которых работает Logstash.

Да. Amazon OpenSearch Service предлагает возможности визуализации на базе OpenSearch Dashboards и Kibana (версии с 1.5 до 7.10).

Можно использовать локальное хранилище на инстансах или тома EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличивать и уменьшать размеры тома по мере необходимости.

Выбирать можно между следующими типами томов EBS: магнитный, универсальный и том с выделенными IOPS.

Да. Сервис Amazon OpenSearch Service развертывает хранилище на основе выбора инстанса и/или размера связанного тома EBS. Максимальный объем хранилища на узел составляет 24 ТБ при использовании инстансов R6g.12xlarge с хранилищем EBS gp3. По умолчанию каждый домен Сервиса Amazon OpenSearch может использовать до 80 узлов данных, поэтому для одного домена можно выделить хранилище объемом около 1920 ТБ. Можно запросить увеличение этого лимита сервиса до 200 инстансов на домен, создав заявку в Центре поддержки AWS. При использовании 200 инстансов для одного домена можно выделить около 3 ПБ хранилища.

При развертывании инстансов данных в одной AZ выделенные ведущие инстансы развертываются в этой же зоне доступности. Однако при развертывании инстансов данных в двух и более AZ Amazon OpenSearch Service автоматически распределит выделенные ведущие инстансы по всем трем зонам доступности. Исключение будет сделано лишь в том случае, если регион располагает только двумя AZ или для создания выделенных ведущих инстансов выбран тип инстансов прошлого поколения, который доступен не во всех AZ. Дополнительную информацию см. в документации.

Для рабочей среды мы рекомендуем развертывание инстансов данных в трех различных AZ, поскольку это обеспечит более высокую доступность. Помимо этого мы рекомендуем всегда выделять инстансы в количестве, кратном трем, для равномерного распределения по зонам доступности. В регионах, не располагающих тремя зонами доступности, рекомендуется выполнять развертывание в двух AZ с четным количеством инстансов данных. Во всех случаях мы рекомендуем создавать три выделенных ведущих инстанса.

Развертывание в трех зонах доступности, как для существующих, так и для вновь созданных доменов, можно настроить с помощью Консоли AWS, интерфейса командной строки или SDK. Дополнительную информацию см. в документации.

Нет, плата за развертывание в трех зонах доступности в Amazon OpenSearch Service не начисляется. Оплате подлежит только количество инстансов в домене, а не количество зон доступности, в которых выполнено их развертывание.

Все домены, настроенные для развертывания в нескольких зонах доступности, используют возможность Zone Awareness, чтобы гарантировать распределение сегментов между различными AZ. В консоли теперь можно целенаправленно указать желаемый тип развертывания: в двух или трех AZ. Домены, которые ранее были настроены прежде с использованием возможности Zone Awareness, будут развертываться в двух зонах доступности, пока владелец не изменит конфигурацию. Дополнительную информацию см. в документации.

Если один или несколько инстансов в AZ недоступны или не работают, Amazon OpenSearch Service автоматически попытается запустить новые инстансы в той же зоне доступности, чтобы заменить отказавшие. В крайне редком случае, когда новые инстансы невозможно запустить в той же зоне доступности, Amazon OpenSearch Service запустит их в других доступных AZ, если домен был настроен для развертывания инстансов в нескольких зонах доступности. Как только проблема с зонами доступности будет решена, Amazon OpenSearch Service равномерно распределит инстансы между AZ, настроенными на использование с данным доменом. Дополнительную информацию см. в документации.

Мы рекомендуем использовать три зоны доступности даже при настройке единственной реплики. Если сбой AZ произойдет в домене с тремя зонами доступности, вы потеряете лишь треть объема своих ресурсов, но в случае сбоя в домене с двумя AZ потери составят уже половину доступных ресурсов, что представляет собой гораздо более серьезную проблему. Кроме того, если сбой доступности произойдет в домене с тремя AZ, Amazon OpenSearch Service сможет использовать две оставшихся зоны для поддержки репликации между несколькими зонами доступности. При сбое в домене с двумя AZ репликация между различными зонами будет нарушена, что еще сильнее ограничит доступность инстансов. Дополнительную информацию см. в документации.

Количество зон доступности, в которых развернут домен, соответствует числу подсетей, сконфигурированных для работы домена в VPC. Для развертывания в трех зонах доступности необходимо настроить в VPC домена как минимум три подсети. Дополнительную информацию о настройке VPC см. в документации.

Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon OpenSearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, можно также использовать VPC‑доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon OpenSearch Service. Подробнее о подписании запросов см. по ссылке.

Чтобы перенести данные из существующего кластера Elasticsearch или OpenSearch, нужно создать снимок состояния этого кластера и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon OpenSearch Service и загрузить в него данные из снимка состояния с помощью API восстановления.

Amazon OpenSearch Service позволяет управлять процессом масштабирования доменов Amazon OpenSearch Service с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon OpenSearch Service выполняется путем добавления, удаления или изменения инстансов или томов хранилища в соответствии с потребностями приложения. Сервис Amazon OpenSearch Service интегрирован с Amazon CloudWatch, благодаря чему можно отслеживать состояние доменов Amazon OpenSearch Service с помощью метрик. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.

Нет. Масштабирование домена Amazon OpenSearch Service посредством добавления или изменения инстансов и томов хранилища выполняется в процессе работы и не требует остановки сервиса.

Да. В случае использования реплик для индексов OpenSearch / Elasticsearch и развертывания в нескольких зонах доступности Amazon OpenSearch Service автоматически распределит основные и реплицированные сегменты по инстансам, размещенным в разных зонах доступности.

Да. Amazon OpenSearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.

Да. AWS CloudTrail – это веб-сервис, который записывает вызовы AWS API для вашего аккаунта и предоставляет вам файлы журналов. История вызовов API AWS в AWS CloudTrail позволяет проводить анализ безопасности и аудит соответствия, а также отслеживать изменения ресурсов. Подробнее о сервисе CloudTrail см. на странице сведений об AWS CloudTrail. Включить его можно на главной странице CloudTrail в Консоли управления AWS.

Снимок состояния – это копия домена Amazon OpenSearch Service, созданная на определенный момент времени.

Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon OpenSearch Service с уже загруженными данными или создания нового домена Amazon OpenSearch Service с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния томов помещаются в хранилище Amazon S3.

Да. По умолчанию Amazon OpenSearch Service создает автоматические снимки состояния каждого домена Amazon OpenSearch Service каждый час и хранит их в течение 14 дней.

Сервис Amazon OpenSearch хранит почасовые автоматические снимки состояния за последние 14 дней.

Плата за создание почасовых автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon OpenSearch Service. Ими можно воспользоваться для восстановления узлов.

Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon OpenSearch Service, можно использовать API снимков состояния. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам хранилища.

Да. Создать новый домен Amazon OpenSearch Service и загрузить данные из снимка состояния в новый домен Amazon OpenSearch Service можно с помощью API восстановления Elasticsearch / OpenSearch.

Ежедневные снимки состояния, сохраненные сервисом Amazon OpenSearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon OpenSearch Service.

Amazon OpenSearch Service предоставляет три типа журналов Elasticsearch или OpenSearch через Amazon CloudWatch Logs: журналы ошибок, журналы медленных запросов для операций поиска и журналы медленных запросов для операций индексирования. Эти журналы позволяют находить и устранять проблемы с производительностью и стабильностью в домене.

Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. OpenSearch и Elasticsearch предоставляет два вида журналов медленных запросов:

• Index Slow Logs. Эти журналы содержат подробные данные о процессе индексирования; их можно использовать для оптимизации настроек индексирования.
• Журналы медленных запросов для операций поиска содержат данные о скорости выполнения запросов и извлечения данных. С их помощью можно оптимизировать выполнение любых операций поиска в OpenSearch или Elasticsearch.

Подробнее о журналах медленных запросов см. в документации OpenSearch.

Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Да. Можно включить или отключить журналы медленных запросов для определенного индекса в его настройках. Подробнее см. в документации.

Нет. Включение журналов медленных запросов в Amazon OpenSearch Service предоставляет возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.

Степень детализации при ведении журналов можно изменять только для журналов медленных запросов. OpenSearch и Elasticsearch поддерживают несколько уровней ведения журналов медленных запросов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации OpenSearch.

При включении журналов медленных запросов или журналов ошибок Amazon OpenSearch Service начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon OpenSearch Service не взимает плату за включение журналов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.

OpenSearch использует Apache Log4j 2 и собственные уровни журналов (в порядке возрастания степени серьезности ошибки): TRACE, DEBUG, INFO, WARN, ERROR и FATAL. При включении журналов ошибок Amazon OpenSearch Service публикует строки журналов со статусом WARN, ERROR и FATAL и некоторых ошибок уровня DEBUG в CloudWatch. Дополнительную информацию см. в документации.

Журналы ошибок можно включить за один щелчок мышью в консоли AWS, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.

Нет, журналы ошибок предоставляются для всего домена. Это значит, что при включении журналов станут доступны их записи из всех индексов домена.

Нет, журналы ошибок доступны только для Elasticsearch версии 5.x и новее.

Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.

Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Подробнее см. в документации.

CloudWatch предлагает множество способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.

Да. Журналы медленных запросов можно включить для всех версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service. Однако для каждой версии Elasticsearch существуют некоторые отличия в способе настройки параметров журнала. Подробнее см. в документации.

Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала не происходит мгновенно.

В настоящее время Amazon OpenSearch Service поддерживает местное обновление версии для доменов с любой версией OpenSearch и Elasticsearch версий 5.x и выше. При обновлениях поддерживаются следующие целевые версии: 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1, 7.4, 7.7, 7.8, 7.9 и 7.10. Дополнительную информацию см. в документации.

Подробнее о миграции с различных версий Elasticsearch см. в документации.

Нет. В ходе обновления домен остается доступным. Однако часть процесса обновления предполагает перемещение сегментов, и это может сказаться на производительности домена. Обновление рекомендуется проводить при низкой нагрузке на домен.

Местное обновление версии доступно только для доменов, в которых используется Elasticsearch версии 5.x и новее. Если в домене используется версия 5.x или новее, можно выполнить проверку наличия обновления, которая покажет, можно ли обновить домен до требуемой версии. Подробнее см. в документации.

Подробный список тестов, проводимых для определения наличия обновления, см. в документации.

Нет. После запуска местного обновления версии вносить изменения в конфигурацию домена нельзя, пока процесс обновления не завершится или не произойдет его сбой. В ходе обновления можно считывать и записывать данные. Кроме того, можно удалить домен. Это приведет к прекращению обновления и удалению домена.

Перед обновлением версии автоматически создается снимок состояния системы. Обновление начинается только в случае успешного создания снимка. Если время начала автоматического создания снимка состояния наступает в ходе обновления, снимок в этот день не создается и переносится на следующий.

Перед запуском процесса обновления Amazon OpenSearch Service выполняет набор тестов для поиска известных проблем, которые могут препятствовать обновлению. Если проблемы не обнаружены, сервис создает снимок состояния домена и запускает процесс обновления в случае успешного создания снимка. Процесс обновления не начинается, если на каком‑либо этапе обнаруживаются ошибки.

Если обнаруженные ошибки незначительны и могут быть исправлены, Amazon OpenSearch Service автоматически предпринимает попытку исправить их и возобновить обновление. Однако если ошибка препятствует обновлению, сервис возвращается к снимку состояния, созданному перед обновлением, и фиксирует ошибку в журнале. Подробнее о просмотре журналов, созданных в ходе обновления, см. в документации.

Да. Журналы обновления можно просмотреть в консоли AWS. Их также можно запросить с помощью интерфейса командной строки или пакетов SDK. Подробнее см. в документации.

Нет. После запуска обновление нельзя приостановить или отменить. Оно будет выполняться до завершения или пока не произойдет сбой.

Да. Однако чтобы для всех доменов сохранялась одна версия, рекомендуется выполнить проверку наличия обновления во всех доменах, прежде чем обновлять их. Этот дополнительный этап помогает обнаружить ошибки в домене, которые могут отсутствовать в других.

В зависимости от объема данных и размера кластера обновления могут занимать от нескольких минут до нескольких часов.

Нет. В ходе местного обновления версии предусмотрено восстановление всех данных в кластере. Чтобы обновить только домен, можно сделать снимок данных, удалить все индексы из домена и затем запустить местное обновление версии. Как вариант, можно создать отдельный домен с более новой версией, после чего восстановить данные в этот домен.

Нет. Если вам необходимо перейти на более старую версию, обратитесь в службу поддержки AWS Support для восстановления автоматического снимка состояния, сделанного до обновления, на новом домене. Если снимок состояния исходного домена был сделан вручную, вы можете выполнить восстановление самостоятельно.

Развертывание в нескольких зонах доступности с резервным инстансом – это новый вариант развертывания Сервиса Amazon OpenSearch, обеспечивающий высокую доступность и стабильную производительность для критически важных рабочих нагрузок. Благодаря этой технологии управляемые кластеры Сервиса OpenSearch устойчивы к сбоям инфраструктуры, таким как выбывание узлов или отказ одной зоны доступности, что не влияет на производительность или доступность даже в случае сбоя одной зоны доступности. Развертывание в нескольких зонах доступности с резервным инстансом обеспечивает дополнительное преимущество в виде упрощения настройки кластера и управления им за счет применения передовых методов работы и снижения сложности.

Чтобы включить развертывание в нескольких зонах доступности с резервным инстансом, управляемые кластеры должны соответствовать следующим условиям:

• Запустите OpenSearch 1.3 или более поздней версии.
• Развертывайте в регионах AWS с помощью технологии 3-AZ. В настоящее время регион AWS в Северной Калифорнии не поддерживает технологию 3-AZ и поэтому не подходит для развертывания в нескольких зонах доступности.
• Количество узлов данных должно быть кратно трем.
• Количество копий данных (основная + копия) должно быть кратно трем.
• Следуйте рекомендациям по размеру для лидера (рекомендуемый размер зависит от количества узлов, сегментов и сопоставлений в вашем кластере).

Благодаря развертыванию в нескольких зонах доступности Сервис Amazon OpenSearch обнаруживает и автоматически восстанавливает некоторые отказы инфраструктуры. Сервис Amazon OpenSearch автоматически переключается с активных узлов на резервные менее чем за минуту при возникновении любого из следующих событий:

• Потеря одной активной зоны доступности или всех узлов в активной зоне доступности
• Потеря подключения к одной активной зоне доступности
• Аппаратный сбой инстанса в активной зоне доступности
• Сбой хранилища на узле в активной зоне доступности

В настоящее время развертывание в нескольких зонах доступности не распространяется на следующие события:

• Потеря основного кворума, так как восстановление после этого события может занять несколько минут
• Потеря нескольких зон доступности
• Потеря подключения к региону
• Потеря более 50 % узлов в нескольких зонах доступности
• Время простоя, вызванное нехваткой вычислительных ресурсов или хранилища в результате изменения характеристик рабочей нагрузки
• Время простоя, вызванное запросами маршрута
• Потеря одного или нескольких сервисов, от которых зависит Сервис Amazon OpenSearch, таких как ARPS и ALB
• Время простоя панели управления OpenSearch во время обновления версий

Нет. В принципе, рекомендации по размерам остаются прежними. Для развертывания в нескольких зонах доступности существуют предварительные требования, упрощающие ментальную модель, необходимую для определения размера кластера. Подход к определению размера управляемого кластера заключается в том, что необходимо определить емкость, необходимую для обслуживания рабочей нагрузки, а затем добавить 50 % для резервирования. Основное различие между текущей опцией «Зональная осведомленность» и опцией развертывания в нескольких зонах доступности заключается в том, как используются резервные или дополнительные ресурсы для поддержания доступности. Для развертывания в нескольких зонах доступности требуется наличие хотя бы одной копии данных в каждой зоне доступности, чтобы можно было явно резервировать емкость в одной зоне доступности. Эта резервная емкость служит целевым ресурсом для переключения при сбое в работе зоны доступности или отказе инстанса. Существующая модель требует поддержания оптимального уровня ресурсов для выполнения рабочей нагрузки. Вы должны постоянно отслеживать кластер на предмет проблем с размерами и выполнять корректирующие действия по мере изменения характеристик рабочей нагрузки.

Нет. Сервис Amazon OpenSearch работает по модели совместной ответственности. Вы несете ответственность за соответствие размера кластера рабочей нагрузке. Развертывание в нескольких зонах доступности с резервным инстансом упрощает ментальную модель настройки кластера. Следует продолжать отслеживать показатели ошибок и задержек, а также данные об использовании хранилища, процессора и оперативной памяти на предмет сигналов о том, что кластер перегружен и его, возможно, потребуется масштабировать.

Нет. Развертывание в нескольких зонах доступности с резервным инстансом доступно без дополнительной оплаты. Вы продолжаете платить за ресурсы, развернутые в кластере для обслуживания рабочей нагрузки. Если ваш кластер уже выполняет лучшие рекомендации и содержит не менее трех копий данных для кластера 3-AZ, вы вряд ли понесете дополнительные расходы при переходе на развертывание в нескольких зонах доступности. Однако если размер вашего кластера невелик или в нем недостаточно резервных ресурсов для выполнения рабочей нагрузки, для повышения доступности и производительности необходимо добавить емкость для перехода на развертывание в нескольких зонах доступности. Резервная емкость зарезервирована из настроенной общей емкости.

Соглашение об уровне обслуживания (SLA) Amazon OpenSearch Service гарантирует бесперебойное ежемесячное время работы сервиса Amazon OpenSearch Service на уровне не менее 99,9 %.

Вы можете претендовать на компенсацию в рамках SLA для Amazon OpenSearch Service в том случае, если домены Amazon OpenSearch Service, расположенные в нескольких зонах доступности, демонстрируют в течение любого оплаченного месяца время бесперебойной работы на уровне менее 99,9 %.

С условиями и положениями соглашения, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений о соглашении об уровне обслуживания Сервиса Amazon OpenSearch.

Поиск по нескольким кластерам – это возможность Elasticsearch и OpenSearch, которая позволяет выполнять запросы и агрегировать данные на двух подключенных кластерах. Такая возможность обеспечивается путем настройки компактного однонаправленного соединения между участвующими кластерами.

Домены, участвующие в поиске по нескольким кластерам, должны удовлетворять следующим критериям:

• Участвующие домены должны использовать OpenSearch или Elasticsearch версии 6.8 или новее
• На участвующих доменах должно быть включено шифрование данных при передаче
• На участвующих доменах должен применяться точный контроль доступа (FGAC).
• При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.

В настоящий момент поиск по нескольким кластерам поддерживается на следующих типах инстансов.

• Семейство i2, i3
• Семейство r3, r4, r5
• Семейство m4, m5
• Семейство c4, c5
• Семейство Graviton

Поиск по нескольким кластерам не поддерживается на инстансах семейств t2 и m3 в связи с техническими ограничениями.

Да. Участвующие домены могут принадлежать двум разным аккаунтам AWS.

Да.

Чтобы начать работу с поиском по нескольким кластерам, следуйте документации.

Репликация в нескольких кластерах – новая возможность, которая позволяет клиентам Сервиса Amazon OpenSearch автоматизировать копирование и синхронизацию индексов из одного кластера в другой с низкой задержкой в одном или разных регионах AWS.

Домены, участвующие в репликации в нескольких кластерах, должны удовлетворять следующим критериям:

• Участвующие домены должны использовать Elasticsearch версии 7.10
• На участвующих доменах должно быть включено шифрование данных при передаче
• На участвующих доменах должен применяться точный контроль доступа (FGAC).
• При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.

Да, домены из двух разных регионов AWS могут участвовать в репликации в нескольких кластерах.

Нет. Текущая версия репликации в нескольких кластерах не поддерживает хранилища Ultrawarm и хранилища «холодных» данных.

Да. К данным, которые переносятся в Сервис Amazon OpenSearch и из него, применяется стандартная плата за передачу данных AWS.

12 апреля 2021 года мы объявили о создании проекта OpenSearch – развиваемой сообществом ветви Elasticsearch и Kibana с открытым исходным кодом. Мы взяли на себя обязательство долгосрочного инвестирования в OpenSearch, чтобы по-прежнему давать пользователям безопасный, высококачественный, полностью открытый набор инструментов поиска и аналитики с насыщенной стратегией новых и инновационных функциональных возможностей. В проект входят OpenSearch (производная Elasticsearch 7.10.2) и OpenSearch Dashboards (производная Kibana 7.10.2). 12 июля 2021 года мы запустили OpenSearch версии 1.0. В рамках нашего долгосрочного взаимодействия с OpenSearch 7 сентября 2021 года мы добавили в управляемый сервис поддержку OpenSearch 1.0 и изменили название с Amazon Elasticsearch Service на Amazon OpenSearch Service. Наряду с OpenSearch 1.0 мы по-прежнему поддерживаем устаревшие версии Elasticsearch до 7.10. Вы можете быть уверены, что изменилось лишь название. Мы стремимся все также предоставлять услуги отличного качества без какого-либо влияния на текущие операции, методы разработки или работу с бизнесом. Узнайте больше об OpenSearch на сайтеhttps://opensearch.org

Мы хотели провести смену названия как можно более безболезненно для вас. Есть аспекты, требующие ваших действий для получения максимальной пользы от сервиса. Например, новые SDK / конфигурации API. Несмотря на то, что существующий SDK будет совместим и продолжит работать, любая новая функциональная возможность, требующая обновленной конфигурации API, будет реализована только в новом SDK. Поэтому мы рекомендуем на него перейти. Кроме того, независимо от нового пакета SDK, мы настоятельно рекомендуем вам переместить существующие политики IAM, чтобы использовать переименованные конфигурации API. На данный момент ваши текущие политики IAM работают со старым определением API. Тем не менее, мы перейдем на новую проверку разрешений на базе API и в конечном итоге потребуем от вас использования новых API в политиках (в частности, для тех API, в которых меняется название; например, CreateElasticsearchDomain для CreateDomain). Подробнее см. в документации.

Нет. Мы позаботимся, с учетом обратной совместимости, о том, чтобы ваши текущие настройки продолжали работать с OpenSearch 1.0. Тем не менее, как упоминалось выше, мы рекомендуем в дальнейшем перейти на последнюю версию SDK для более четкой работы на современном уровне.

Нет, ценообразование не меняется.

В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.

Обновление до OpenSearch 1.x гарантирует, что ваша поисковая инфраструктура будет создана на основе растущего и динамичного проекта с открытым кодом и лицензий Apache. Это предоставит вам доступ ко множеству инновационных улучшений и функциональных возможностей, доступных в OpenSearch 1.2 (на момент написания этой статьи).  Такие функциональные возможности, как защита корпоративного уровня, оповещения, управление жизненным циклом данных, наблюдение, обнаружение отклонений на основе машинного обучения и многие другие, являются частью сервиса OpenSearch и предоставляются без дополнительной платы за лицензию.

Мы используем сине-зеленый процесс развертывания во время перехода на новую версию. Во время сине-зеленого процесса сервис добавляет узлы к кластеру OpenSearch в новой конфигурации и версии, переносит данные из старых узлов и отключает новые узлы после завершения переноса данных. Пока выполняется сине-зеленый процесс, API поиска и индексирования доступны и функционируют в обычном режиме. Хотя сине-зеленый процесс разработан так, чтобы он не мешал запросам и индексированию, при внесении некоторых изменений (особенно касающихся настроек безопасности) информационные панели будут недоступными.

OpenSearch поддерживает несколько версий Elasticsearch и OpenSearch. Для некоторых из них уже объявлены даты окончания стандартной и расширенной поддержки. Полный список версий движка и соответствующие даты окончания поддержки см. в документации. Подробнее о расширенной поддержке см. в разделе о расширенной поддержке. 

AWS поддерживает 19 версий Elasticsearch с лицензией Apache 2.0. В настоящее время прекращение поддержки какой-либо из этих версий не происходит и не планируется.

Да, переход на новую версию приведет к запуску сине-зеленого процесса развертывания. Ознакомьтесь с подготовкой к переходу на новую версию и другими инструкциями здесь.

Обратитесь к своей команде обслуживания клиентов AWS для получения информации по вашей конкретной ситуации с RI.

Проект OpenSearch 1.0 – это форк Elasticsearch 7.10.2 с открытым исходным кодом. Он совместим с Elasticsearch 7.10 – не нужно менять использование. Для переноса можно обновить домен любой предыдущей версии в сериях 6.x и 7.x до версии Elasticsearch 7.10, создать снимок состояния и восстановить его в домене, где работает сервис OpenSearch 1.x. Некоторые клиенты или инструменты включают проверку версий, из-за чего клиент или инструмент может не работать с сервисом OpenSearch. При переходе на новую версию необходимо включить режим совместимости, чтобы обойти эти проверки версий.

В большинстве случаев вы можете продолжать использовать существующие клиенты. API и ключевые функции поиска совместимы с Elasticsearch версии 7.10.2. Если у вас более старые клиенты, если клиенты выполняют проверку версий или используют функции, предназначенные для более старых версий Elasticsearch, например основных версий 5 или 6, рекомендуем привести эти клиенты к минимальному стандарту поддержки 7.10.2, чтобы обеспечить плавный переход.

Проект OpenSearch поддерживает самые разные клиенты, которые специально созданы для работы с версиями OpenSearch движка в сервисе Amazon OpenSearch. Проверьте свой клиент, сверяясь со списком новейших клиентов OpenSearch и поддерживаемых языков программирования для этих клиентов.

Можно включить функцию режима совместимости, чтобы обеспечить взаимодействие с клиентами от других поставщиков, но не забудьте проверить версию, указанную OpenSearch. Включайте этот параметр, чтобы сервис с версией 7.10.2 соответствовал клиентам, разработанным до выпуска движка сервиса OpenSearch.

Индексы Elasticsearch 5.x несовместимы с Elasticsearch 7.10 или OpenSearch 1.x. Вам нужно создать новый индекс и загрузить данные из своего источника. Если у вас выполняется рабочая нагрузка аналитики журналов, вы можете проанализировать, поддерживает ли ваша стратегия хранения данных параллельное выполнение, пока создаете полный набор данных в новом домене.

Да, запросите список партнеров из своего региона, которые работают в вашей отрасли с проектами нужной сложности, отправив письмо на адрес opensearchmigration-si-support@amazon.com. Участники партнерской сети AWS (APN) прошли обучение и достаточно опытны, чтобы помочь вам выполнить обновление до новой версии. 

OpenSearch 1.0 – это форк Elasticsearch 7.10.2. OpenSearch и Elasticsearch совместимы. Если вы включите режим совместимости, клиенты Elasticsearch также будут совместимы с OpenSearch 1.0.

Сервис Amazon OpenSearch не предлагает и не будет предлагать версии движка Elasticsearch после версии 7.10.2.

Как объявляла компания AWS, когда мы создавали форк Elasticsearch, то намеревались сформировать развивающееся сообщество OpenSearch, и нам это удалось. Мы опубликовали дорожную карту для OpenSearch, внесли пожелания сообщества и достигли консенсуса относительно приоритетов функций. Мы предпримем все разумные усилия, чтобы сохранить совместимость с Elasticsearch. Наша цель – расти вместе с нашим сообществом и клиентами сервиса Amazon OpenSearch.

Вы можете напрямую обновить Elasticsearch и Kibana (версий от 6.8.0 до 7.10.2), а также Open Distro для Elasticsearch (ODFE) 1.x до сервиса OpenSearch 1.0. Для последовательного обновления ODFE до OpenSearch мы рекомендуем сначала перейти на ODFE 1.13, а затем – на OpenSearch 1.0.

Ресурсы для миграции:

Миграция аналитики

Миграция в сервис Amazon OpenSearch

Каждая версия движка, запущенная в сервисе OpenSearch, по умолчанию покрывается стандартной поддержкой. В рамках стандартной поддержки AWS регулярно исправляет ошибки и обновляет систему безопасности. По окончании срока действия стандартной поддержки AWS начинает предоставлять услуги расширенной поддержки продолжительностью не менее 12 месяцев после даты окончания срока действия стандартной поддержки. В период расширенной поддержки AWS предоставит критически важные исправления безопасности и исправления ОС. Это даст вам больше времени на планирование обновления до более поздней поддерживаемой версии движка. При использовании версии с расширенной поддержкой в дополнение к стоимости стандартного инстанса и хранилища будет взиматься фиксированная плата за NIH. Подробнее о расширенной поддержке и планах версий см. в документации. Информацию о ценах см. на странице цен.

Нет. Домены на базе версий с завершенным сроком действия стандартной поддержки автоматически переходят на расширенную поддержку и подлежат оплате по соответствующей цене. После обновления домена до новой версии стандартной поддержки счета за расширенную поддержку выставляться не будут.

За домены с расширенной поддержкой, помимо стандартной платы за инстансы и хранилище, взимается дополнительная фиксированная плата за NIH. Точные цены по регионам см. на странице цен. Плата за расширенную поддержку домена взимается автоматически на следующий день после окончания срока действия стандартной поддержки. Если на домене установлена версия с опубликованными датами стандартной и расширенной поддержки (подробности см. здесь), за три месяца до даты окончания срока действия стандартной поддержки будет отправлено уведомление на персональную панель работоспособности, в консоли сервиса OpenSearch и в рамках событий EventBridge. Подробнее о мониторинге уведомлений в сервисе OpenSearch см. в документации.

С доменов на базе версий с расширенной поддержкой будет взиматься дополнительная фиксированная плата или плата за нормализованное время работы инстанса (NIH). NIH рассчитывается как коэффициент размера инстанса (например, среднего, большого) и количества часов работы инстанса. Например, при использовании инстанса m7g.medium.search в течение 24 часов в регионе «Восток США» (Северная Вирджиния) по цене 0,068 USD/час (по запросу) стоимость инстанса составляет 1,632 USD (0,068 USD x 24). При использовании версии с расширенной поддержкой взимается дополнительная плата в размере 0,0065 USD за NIH. Стоимость рассчитывается так: 0,0065 USD x 24 (количество часов работы инстансов) x 2 (коэффициент нормализации размера; 2 для инстансов среднего размера), что составляет 0,312 USD за расширенную поддержку в течение 24 часов. Общая стоимость за 24 часа составит сумму стандартной стоимости инстанса (за исключением хранилища) и стоимости расширенной поддержки в размере 1,944 USD (1,632 USD + 0,312 USD). Подробности см. в документации.

Можно обновить домен до версии движка со стандартной поддержкой. Версия покрывается стандартной поддержкой до опубликованной даты окончания срока действия стандартной поддержки или если дата окончания срока действия стандартной поддержки не была объявлена для этой версии.

Нет. Мы рекомендуем перейти на версию, покрываемую стандартной или расширенной поддержкой, либо на версию, для которой окончание срока действия еще не объявлено. Как только расширенная поддержка версии закончится, домены с соответствующей версией не будут получать исправления ошибок или обновления безопасности.

Как только расширенная поддержка версии закончится, мы больше не будем выпускать исправления ошибок или обновления безопасности специально для этой версии. Домены с неподдерживаемыми версиями будут изолированы, а данные будут храниться не менее 30 дней. Доступ к изолированным доменам больше невозможен. Вам придется восстановить данные в новом домене с поддерживаемой версией. Мы настоятельно рекомендуем обновить домен до поддерживаемой версии до окончания срока действия расширенной поддержки соответствующей версии. Если вам требуется дополнительная помощь, обратитесь в Поддержку AWS.

Да. Пока требуемая версия движка покрывается расширенной поддержкой, можно продолжать использовать сервис в стандартном режиме без ограничений.

В рамках расширенной поддержки AWS предоставляет критически важные исправления безопасности и ОС по мере необходимости.

Да, в зависимости от версии, с которой вы переходите, и от версии, на которую вы переходите. Список поддерживаемых способов обновления см. в документации. При переходе с устаревших версий, таких как ES 1.5 или ES 2.3, обновления на месте не поддерживаются. Инструкции по обновлению доменов устаревших версий см. в документации.

Интеграция с нулевым использованием ETL с Amazon DynamoDB позволяет устранить сложности эксплуатации, связанные с организацией репликации данных из рабочего хранилища данных в хранилище поисковых данных. Конвейеры данных, используемые для синхронизации разных хранилищ данных, могут быть сложными и дорогостоящими в создании и управлении. Кроме того, периодически возникают ошибки, которые трудно отследить. Данная интеграция позволяет клиентам Amazon DynamoDB получать результаты поиска по транзакционным данным в режиме, близком к реальному времени, предлагая полностью управляемое решение, которое предоставляет возможность сделать рабочие данные из Amazon DynamoDB доступными в сервисе Amazon OpenSearch в течение нескольких секунд после их записи.

При интеграции сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon DynamoDB применяется функция получения данных с помощью Amazon OpenSearch для беспрепятственного перемещения рабочих данных из Amazon DynamoDB в сервис Amazon OpenSearch. Чтобы включить интеграцию, сначала нужно выбрать таблицу Amazon DynamoDB, данные которой подлежат репликации. Функция интеграции с нулевым использованием ETL позволяет создать конвейер получения данных Amazon OpenSearch в аккаунте клиента. Данный конвейер обеспечивает репликацию данных в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch. Функция получения данных Amazon OpenSearch распознает структуру таблиц Amazon DynamoDB и затем загружает в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch существующие данные из таблиц DynamoDB. При желании можно указать схему индексов, которые будут созданы в сервисе Amazon OpenSearch. Любые обновления таблицы DynamoDB также реплицируются в сервис Amazon OpenSearch без вмешательства клиентов в ручном режиме.

Данная функция с нулевым использованием ETL использует получение данных Amazon OpenSearch для перемещения данных из Amazon DynamoDB в сервис Amazon OpenSearch и использует нативные возможности преобразования данных конвейеров получения данных Amazon OpenSearch для агрегации и фильтрации данных в процессе их перемещения. При перемещении данных из таблицы Amazon DynamoDB клиенты могут удалить несколько полей или создать новые на основе агрегации уже существующих полей. Чтобы получить индивидуальные возможности преобразования данных, клиенты при желании также могут написать собственную логику для получения данных Amazon OpenSearch. Для других пользователей, которые просто хотят перенести все свои данные из источника в получатель, функция получения данных Amazon OpenSearch предоставляет готовые чертежи, с помощью которых можно выполнять интеграцию всего несколькими щелчками мыши.

Чтобы обеспечить функцию получения данных OpenSearch необходимыми разрешениями на репликацию данных в обеих системах, интеграция DynamoDB с нулевым использованием ETL с сервисом OpenSearch создает роль IAM с необходимыми разрешениями для чтения данных из таблиц Amazon DynamoDB, а также записи в домен или коллекцию Amazon OpenSearch. Затем эту роль берут на себя конвейеры получения данных Amazon OpenSearch, гарантирующие постоянное соблюдение надлежащего уровня безопасности при перемещении данных от источника к конечной точке.

Все метрики, связанные с интеграцией с нулевым использованием ETL с Amazon DynamoDB, можно просматривать на информационных панелях получения данных Amazon OpenSearch, а также в журналах реального времени в Amazon CloudWatch. Это позволяет клиентам настраивать пользовательские оповещения, которые срабатывают при превышении заданных пользователем пороговых значений.

Архитектура механизма запросов сервиса OpenSearch была изменена с целью поддержки анализа рабочих данных, хранящихся в облачных хранилищах объектов, таких как Amazon S3 и озера данных на базе S3. Данные при этом не дублируются. За считанные секунды клиенты могут повысить производительность своих запросов, а также создать быстро загружаемые информационные панели, используя встроенные в новую интеграцию возможности ускорения запросов.

Чтобы начать работу с Консоли управления AWS, клиенты настраивают новый источник данных из существующего домена сервиса OpenSearch под управлением сервиса OpenSearch версии 2.11 или более новой. При настройке нового источника данных Direct Query клиентам необходимо предоставить доступ для чтения и записи к Amazon S3 и каталогу данных AWS Glue, чтобы упростить выполнение запросов к данным в Amazon S3 из сервиса OpenSearch. Клиенты могут настроить политики IAM, чтобы ограничить доступ к определенным корзинам в Amazon S3 или к ресурсам в каталоге данных AWS Glue. После настройки нового источника данных в консоли клиент переходит в сервис OpenSearch и настраивает управление доступом на основе ролей, ускорение для повышения производительности запросов, а также (по желанию) готовые панели управления для популярных шаблонов типов журналов, таких как журналы VPC Flow, эластичного балансировщика нагрузки и NGINX. Плата с клиентов взимается за потребленные вычислительные ресурсы в виде вычислительных единиц OpenSearch Direct Query (OCU, оплата за использование). После настройки нового источника данных клиент может начать запрашивать свои данные непосредственно из API OpenSearch или информационных панелей OpenSearch.

Клиенты платят только за ресурсы, потребляемые рабочей нагрузкой. Сервис OpenSearch предусматривает оплату только вычислительных ресурсов, необходимых для прямых запросов внешних данных, а также для поддержки дополнительных индексов в сервисе OpenSearch. Вычислительная мощность измеряется в вычислительных единицах (OCU) OpenSearch, которые также используются в бессерверном Amazon OpenSearch и в функции получения данных Amazon OpenSearch. Количество OCU в точности соответствует количеству виртуальных ЦПУ и памяти, необходимых для запроса или поддержания индексов на основе данных. Появится одна запись для вычислений в OCU-часах с меткой для прямого запроса. Счета за работу OCU выставляются на почасовой основе с поминутной детализацией. Если запросы или действия по индексированию не активны, OCU не потребляются. Затраты на Amazon S3 или каталог данных AWS Glue оплачиваются в аккаунте клиента отдельно. Дополнительные сведения о ценах см. на странице цен на сервис Amazon OpenSearch.

Интеграция сервиса Amazon OpenSearch и Amazon Security Lake упрощает прямой поиск, получение аналитических данных и анализ данных, хранящихся в Security Lake, в рамках сервиса OpenSearch. Существует два способа интеграции Security Lake и сервиса OpenSearch: доступ к запросам и доступ к данным.

Благодаря интеграции с доступом к запросам специалисты по анализу безопасности могут использовать панель управления OpenSearch для выполнения прямых запросов к данным в Security Lake, а индексацию по запросу и готовый контент — для начала работы с запросами, связанными с безопасностью. Для интеграции с доступом к данным сервис приема данных OpenSearch предоставляет предварительно настроенную схему Security Lake, включающую стандартную конфигурацию для приема parquet-файлов Open Cybersecurity Schema Framework (OCSF) из Security Lake. Интеграция с нулевым использованием ETL с Security Lake предусмотрена только для наборов с пользовательским интерфейсом OpenSearch, а не для кластеров.

Для начала необходима существующая конфигурация Security Lake в вашей среде AWS. Таким образом обеспечивается централизованное хранение и доступ к данным корпоративной безопасности.

Затем можно включить интеграцию между двумя сервисами через Консоль управления AWS или с помощью шаблонов AWS CloudFormation. При этом вам потребуется настроить необходимые разрешения и средства контроля доступа, чтобы сервис Amazon OpenSearch мог безопасно получать доступ к данным в Security Lake и запрашивать их.

Затем вы можете изучить готовые запросы и варианты интеграции, доступные через OCSF, чтобы быстро реализовать типичные сценарии использования аналитики безопасности. Вы также можете настроить индексирование по запросу определенных наборов данных из Security Lake в сервис OpenSearch для решения расширенных потребностей в анализе и контроле.