- Аналитика›
- Сервис Amazon OpenSearch›
- Вопросы и ответы
Вопросы и ответы по Amazon OpenSearch Service
Темы страниц
Общие вопросыОбщие вопросы
Что собой представляет Сервис Amazon OpenSearch?
Сервис Amazon OpenSearch – это управляемый сервис, который упрощает интерактивный анализ журналов, мониторинг приложений в режиме реального времени, поиск на веб-сайтах и многие другие процессы. OpenSearch – это комплект с открытым исходным кодом для распределенного поиска и аналитики, созданный на базе Elasticsearch. В сервис Amazon OpenSearch включены последние версии OpenSearch, поддержка 19 версий Elasticsearch (версии от 1.5 до 7.10) и возможности визуализации на базе OpenSearch Dashboards и Kibana (версии от 1.5 до 7.10). Сервисом Amazon OpenSearch пользуются десятки тысяч активных клиентов, которые управляют сотнями тысяч кластеров, обрабатывающих триллионы запросов в месяц. См. вопросы и ответы по сервису Amazon OpenSearch, чтобы узнать больше.
Какие версии OpenSearch и Elasticsearch поддерживает сервис Amazon OpenSearch?
Сервис Amazon OpenSearch предлагает новейшие версии OpenSearch и поддержку нескольких устаревших версий Elasticsearch с открытым исходным кодом (до версии 7.10). Дополнительную информацию см. в документации.
Что такое домен сервиса Amazon OpenSearch?
Домены Amazon OpenSearch Service – это кластеры Elasticsearch (с 1.5 до 7.10) или OpenSearch, созданные с помощью консоли Amazon OpenSearch Service, интерфейса командной строки или API. Каждый из доменов представляет собой кластер OpenSearch или Elasticsearch в облаке с вычислительными ресурсами и объемом хранилища, заданными клиентом. Сервис позволяет создавать и удалять домены, задавать атрибуты их инфраструктуры, а также управлять безопасностью и настройками доступа. Можно использовать один или несколько доменов Amazon OpenSearch Service.
Какие виды управления берет на себя сервис Amazon OpenSearch?
Amazon OpenSearch Service управляет операциями, связанными с настройкой домена: от выделения запрашиваемых инфраструктурных ресурсов в сетевой среде до установки программного обеспечения OpenSearch или Elasticsearch. Когда домен уже работает, Amazon OpenSearch Service позволяет автоматизировать стандартные задачи администрирования, такие как резервное копирование данных, мониторинг инстансов и установка исправлений ПО. Сервис Amazon OpenSearch Service интегрирован с сервисом Amazon CloudWatch, что позволяет отслеживать состояние доменов с помощью соответствующих метрик. Кроме того, Amazon OpenSearch Service позволяет изменять настройки хранилища и инстанса домена, тем самым упрощая процесс адаптации домена к потребностям приложения.
Поддерживает ли сервис Amazon OpenSearch интерфейсы API Elasticsearch или OpenSearch с открытым исходным кодом?
Amazon OpenSearch Service поддерживает большинство распространенных интерфейсов API OpenSearch и Elasticsearch, поэтому код, приложения и популярные инструменты, которые используются в существующих средах Elasticsearch (до версии 7.10) или OpenSearch, будут работать без изменений. Полный перечень поддерживаемых операций см. в документации.
Какие варианты развертывания предусмотрены для сервиса Amazon OpenSearch в отношении зон доступности (AZ)?
Amazon OpenSearch Service предлагает клиентам возможность развертывания инстансов в одной, двух или трех зонах доступности (AZ). Для рабочих нагрузок, связанных с разработкой или тестированием, можно выбрать развертывание в одной AZ. При запуске процессов в рабочей среде рекомендуется выбирать варианты развертывания в двух или трех AZ. Для рабочих нагрузок с повышенными требованиям к доступности настоятельно рекомендуется применять развертывание в трех AZ.
Примечание. Вариант с развертыванием в трех зонах доступности доступен только в регионах, где существует не менее трех зон доступности.
В каких регионах сервис Amazon OpenSearch предоставляет возможность развертывания в трех зонах доступности?
Сервис Amazon OpenSearch предоставляет возможность развертывания в трех зонах доступности во всех регионах, в которых он доступен, за исключением Запада США (Северная Калифорния), где поддерживаются только две зоны доступности.
Как можно использовать сервис Amazon OpenSearch для ресурсов, работающих в локальной среде или в других облаках?
Сервис Amazon OpenSearch – это полностью управляемый сервис, который позволяет запускать и масштабировать кластеры OpenSearch, не заботясь об управлении, мониторинге и обслуживании инфраструктуры, а также о накоплении глубоких знаний в области эксплуатации кластеров OpenSearch. Сервис Amazon OpenSearch, являющийся полностью управляемым сервисом, в настоящее время работает на AWS. Однако OpenSearch — это распределенный пакет поиска и аналитики с открытым исходным кодом, управляемый сообществом и лицензированный Apache 2.0, который можно запускать локально или в гибридных и многооблачных средах. Например, есть партнеры, которые предоставляют OpenSearch на других облачных платформах или используют OpenSearch в своих приложениях. OpenSearch помогает легче получать, защищать, искать, агрегировать, просматривать и анализировать данные для различных сценариев использования, таких как анализ журналов, поиск приложений, корпоративный поиск и многое другое. OpenSearch представляет собой легко масштабируемую систему для обеспечения быстрого доступа и реагирования на большие объемы данных с интегрированным инструментом визуализации, OpenSearch Dashboards, который упрощает пользователям изучение данных. OpenSearch работает на базе поисковой библиотеки Apache Lucene и поддерживает ряд поисковых и аналитических возможностей, таких как поиск по методу k-ближайших соседей (KNN), SQL, обнаружение аномалий, Machine Learning Commons, Trace Analytics, полнотекстовый поиск и многое другое.
Настройка и конфигурирование
Можно ли использовать для создания или изменения доменов консоль сервиса Amazon OpenSearch?
Да. Новый домен Amazon OpenSearch Service можно создать за несколько щелчков мышью с помощью мастера создания доменов в консоли сервиса. В процессе создания нового домена можно указать количество инстансов, типы инстансов и тома EBS, которые необходимо выделить домену. В консоли также можно изменять или удалять существующие домены Amazon OpenSearch Service.
Поддерживает ли сервис Amazon OpenSearch работу с Amazon VPC?
Да, сервис Amazon OpenSearch Service интегрирован с Amazon VPC. При выборе VPC‑доступа домену Amazon OpenSearch Service назначаются IP‑адреса из соответствующего облака VPC. Таким образом весь трафик остается внутри сети AWS и не попадает в Интернет. Кроме того, для ограничения доступа к доменам Amazon OpenSearch Service можно применять группы безопасности и политики IAM.
Можно ли использовать для выделения доменов сервиса Amazon OpenSearch шаблоны CloudFormation?
Да. AWS CloudFormation поддерживает Amazon OpenSearch Service. Дополнительную информацию см. в документации CloudFormation Template Reference.
Поддерживает ли сервис Amazon OpenSearch настройку выделенных главных узлов?
Да. У пользователей есть возможность настраивать для своих доменов выделенные ведущие узлы. При выборе конфигурации выделенного ведущего узла можно указать типы инстансов и их количество.
Можно ли создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service?
Да. Вы можете создать несколько индексов Elasticsearch или OpenSearch в рамках одного домена Amazon OpenSearch Service. Elasticsearch и OpenSearch автоматически распределяет индексы и связанные реплики между инстансами, относящимися к домену.
Как собирать данные в домен сервиса Amazon OpenSearch?
Amazon OpenSearch Service поддерживает три варианта сбора данных:
- Для больших объемов данных рекомендуется использовать Amazon Kinesis Data Firehose – полностью управляемый сервис, способный автоматически масштабироваться для обеспечения необходимой пропускной способности и не требующий текущего администрирования. Сервис также может перед загрузкой данных может преобразовывать, объединять и в пакеты и сжимать данные.
- Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве хранилища данных для всех журналов, поступающих через Logstash.
- Для загрузки данных в домен можно использовать стандартные вызовы API Elasticsearch (до версии 7.10) или OpenSearch, такие как index и bulk.
Поддерживает ли сервис Amazon OpenSearch интеграцию с Logstash?
Да. Amazon OpenSearch Service поддерживает интеграцию с Logstash. Домен Amazon OpenSearch Service можно настроить в качестве серверного хранилища для всех журналов, поступающих из Logstash. При управлении доступом к домену Amazon OpenSearch Service можно использовать подписи запросов для проверки подлинности вызовов Logstash или политики IAM на основании ресурсов для указания IP‑адресов инстансов, на которых работает Logstash.
Поддерживает ли сервис Amazon OpenSearch интеграцию с Kibana?
Да. Amazon OpenSearch Service предлагает возможности визуализации на базе OpenSearch Dashboards и Kibana (версии с 1.5 до 7.10).
Какие варианты хранилищ доступны для сервиса Amazon OpenSearch Service?
Можно использовать локальное хранилище на инстансах или тома EBS. Если в качестве хранилища выбран том EBS, при создании домена можно увеличивать и уменьшать размеры тома по мере необходимости.
Какие типы томов EBS поддерживает Amazon OpenSearch Service?
Выбирать можно между следующими типами томов EBS: магнитный, универсальный и том с выделенными IOPS.
Существуют ли лимиты на объем хранилища, выделяемого для домена сервиса Amazon OpenSearch?
Да. Сервис Amazon OpenSearch Service развертывает хранилище на основе выбора инстанса и/или размера связанного тома EBS. Максимальный объем хранилища на узел составляет 24 ТБ при использовании инстансов R6g.12xlarge с хранилищем EBS gp3. По умолчанию каждый домен Сервиса Amazon OpenSearch может использовать до 80 узлов данных, поэтому для одного домена можно выделить хранилище объемом около 1920 ТБ. Можно запросить увеличение этого лимита сервиса до 200 инстансов на домен, создав заявку в Центре поддержки AWS. При использовании 200 инстансов для одного домена можно выделить около 3 ПБ хранилища.
Как выделенные ведущие инстансы распределяются между зонами доступности (AZ)?
При развертывании инстансов данных в одной AZ выделенные ведущие инстансы развертываются в этой же зоне доступности. Однако при развертывании инстансов данных в двух и более AZ Amazon OpenSearch Service автоматически распределит выделенные ведущие инстансы по всем трем зонам доступности. Исключение будет сделано лишь в том случае, если регион располагает только двумя AZ или для создания выделенных ведущих инстансов выбран тип инстансов прошлого поколения, который доступен не во всех AZ. Дополнительную информацию см. в документации.
Какая конфигурация зон доступности рекомендуется для рабочих нагрузок?
Для рабочей среды мы рекомендуем развертывание инстансов данных в трех различных AZ, поскольку это обеспечит более высокую доступность. Помимо этого мы рекомендуем всегда выделять инстансы в количестве, кратном трем, для равномерного распределения по зонам доступности. В регионах, не располагающих тремя зонами доступности, рекомендуется выполнять развертывание в двух AZ с четным количеством инстансов данных. Во всех случаях мы рекомендуем создавать три выделенных ведущих инстанса.
Как настроить домен для развертывания в трех зонах доступности?
Развертывание в трех зонах доступности, как для существующих, так и для вновь созданных доменов, можно настроить с помощью Консоли AWS, интерфейса командной строки или SDK. Дополнительную информацию см. в документации.
Предусмотрена ли плата за развертывание в трех зонах доступности?
Нет, плата за развертывание в трех зонах доступности в Amazon OpenSearch Service не начисляется. Оплате подлежит только количество инстансов в домене, а не количество зон доступности, в которых выполнено их развертывание.
Я больше не вижу настройки зональной осведомленности в своей консоли. Означает ли это, что мой домен больше не может ее использовать?
Все домены, настроенные для развертывания в нескольких зонах доступности, используют возможность Zone Awareness, чтобы гарантировать распределение сегментов между различными AZ. В консоли теперь можно целенаправленно указать желаемый тип развертывания: в двух или трех AZ. Домены, которые ранее были настроены прежде с использованием возможности Zone Awareness, будут развертываться в двух зонах доступности, пока владелец не изменит конфигурацию. Дополнительную информацию см. в документации.
Как сервис Amazon OpenSearch обрабатывает отказы инстансов и сбои зон доступности?
Если один или несколько инстансов в AZ недоступны или не работают, Amazon OpenSearch Service автоматически попытается запустить новые инстансы в той же зоне доступности, чтобы заменить отказавшие. В крайне редком случае, когда новые инстансы невозможно запустить в той же зоне доступности, Amazon OpenSearch Service запустит их в других доступных AZ, если домен был настроен для развертывания инстансов в нескольких зонах доступности. Как только проблема с зонами доступности будет решена, Amazon OpenSearch Service равномерно распределит инстансы между AZ, настроенными на использование с данным доменом. Дополнительную информацию см. в документации.
Если я применяю в домене только одну реплику для индексов, следует ли мне использовать две или три зоны доступности?
Мы рекомендуем использовать три зоны доступности даже при настройке единственной реплики. Если сбой AZ произойдет в домене с тремя зонами доступности, вы потеряете лишь треть объема своих ресурсов, но в случае сбоя в домене с двумя AZ потери составят уже половину доступных ресурсов, что представляет собой гораздо более серьезную проблему. Кроме того, если сбой доступности произойдет в домене с тремя AZ, Amazon OpenSearch Service сможет использовать две оставшихся зоны для поддержки репликации между несколькими зонами доступности. При сбое в домене с двумя AZ репликация между различными зонами будет нарушена, что еще сильнее ограничит доступность инстансов. Дополнительную информацию см. в документации.
Как использовать преимущества развертывания в трех зонах доступности для домена в VPC?
Количество зон доступности, в которых развернут домен, соответствует числу подсетей, сконфигурированных для работы домена в VPC. Для развертывания в трех зонах доступности необходимо настроить в VPC домена как минимум три подсети. Дополнительную информацию о настройке VPC см. в документации.
Администрирование
Могут ли программы, работающие на серверах в локальном центром обработки данных, получить доступ к доменам сервиса Amazon OpenSearch?
Да. Программы, имеющие публичный доступ в Интернет, могут взаимодействовать с доменами Amazon OpenSearch Service через публичный адрес сервера. Если центр обработки данных уже подключен к Amazon VPC посредством Direct Connect или туннеля SSH, можно также использовать VPC‑доступ. Обе конфигурации позволяют настроить группы безопасности и политики IAM, чтобы разрешить программам, работающим на серверах за пределами сети AWS, доступ к доменам Amazon OpenSearch Service. Подробнее о подписании запросов см. по ссылке.
Как перенести данные из существующего кластера Elasticsearch / OpenSearch в новый домен сервиса Amazon OpenSearch?
Чтобы перенести данные из существующего кластера Elasticsearch или OpenSearch, нужно создать снимок состояния этого кластера и сохранить его в корзине Amazon S3. Затем можно создать новый домен Amazon OpenSearch Service и загрузить в него данные из снимка состояния с помощью API восстановления.
Как выполняется масштабирование домена сервиса Amazon OpenSearch?
Amazon OpenSearch Service позволяет управлять процессом масштабирования доменов Amazon OpenSearch Service с помощью консоли, API или интерфейса командной строки. Масштабирование домена Amazon OpenSearch Service выполняется путем добавления, удаления или изменения инстансов или томов хранилища в соответствии с потребностями приложения. Сервис Amazon OpenSearch Service интегрирован с Amazon CloudWatch, благодаря чему можно отслеживать состояние доменов Amazon OpenSearch Service с помощью метрик. На основании этих метрик можно принимать решения о необходимости масштабирования доменов.
Возникают ли перерывы в работе сервиса при масштабировании домена Amazon OpenSearch Service?
Нет. Масштабирование домена Amazon OpenSearch Service посредством добавления или изменения инстансов и томов хранилища выполняется в процессе работы и не требует остановки сервиса.
Поддерживает ли сервис Amazon OpenSearch репликацию в различных зонах доступности?
Да. В случае использования реплик для индексов OpenSearch / Elasticsearch и развертывания в нескольких зонах доступности Amazon OpenSearch Service автоматически распределит основные и реплицированные сегменты по инстансам, размещенным в разных зонах доступности.
Передает ли сервис Amazon OpenSearch какие‑либо метрики производительности в Amazon CloudWatch?
Да. Amazon OpenSearch Service передает в Amazon CloudWatch несколько метрик производительности, где фиксируется количество узлов, состояние кластера, доступные для поиска документы, метрики EBS (если используется), использование процессора, памяти и диска узлами данных и ведущими узлами. Полный перечень доступных метрик CloudWatch см. в документации сервиса.
Мне необходимо выполнить анализ безопасности или устранить неполадки в работе существующего развертывания в сервисе Amazon OpenSearch. Можно ли просмотреть историю всех вызовов API сервиса Amazon OpenSearch в аккаунте?
Да. AWS CloudTrail – это веб-сервис, который записывает вызовы AWS API для вашего аккаунта и предоставляет вам файлы журналов. История вызовов API AWS в AWS CloudTrail позволяет проводить анализ безопасности и аудит соответствия, а также отслеживать изменения ресурсов. Подробнее о сервисе CloudTrail см. на странице сведений об AWS CloudTrail. Включить его можно на главной странице CloudTrail в Консоли управления AWS.
Что такое снимок состояния?
Снимок состояния – это копия домена Amazon OpenSearch Service, созданная на определенный момент времени.
Зачем нужны снимки состояния?
Снимки состояния будут полезны в случае потери данных по причине сбоя узла или в маловероятном случае сбоя аппаратного обеспечения. Снимки состояния можно использовать для восстановления домена Amazon OpenSearch Service с уже загруженными данными или создания нового домена Amazon OpenSearch Service с уже загруженными данными. Кроме того, резервные копии часто используют при создании архивов. Снимки состояния томов помещаются в хранилище Amazon S3.
Может ли сервис Amazon OpenSearch создавать снимки состояния автоматически?
Да. По умолчанию Amazon OpenSearch Service создает автоматические снимки состояния каждого домена Amazon OpenSearch Service каждый час и хранит их в течение 14 дней.
Как долго в сервисе Amazon OpenSearch хранятся почасовые автоматические снимки состояния?
Сервис Amazon OpenSearch хранит почасовые автоматические снимки состояния за последние 14 дней.
Взимается ли плата за создание ежедневных почасовых автоматических снимков состояния?
Плата за создание почасовых автоматических снимков состояния не взимается. Снимки состояния сохраняются бесплатно в корзине S3 сервиса Amazon OpenSearch Service. Ими можно воспользоваться для восстановления узлов.
Можно ли при необходимости создавать дополнительные снимки состояния доменов сервиса Amazon OpenSearch?
Да. Чтобы создать снимки состояния вручную в дополнение к ежедневным автоматическим снимкам состояния, создаваемым Amazon OpenSearch Service, можно использовать API снимков состояния. Созданные вручную снимки состояния сохраняются в корзине S3, что подразумевает оплату по стандартным тарифам хранилища.
Можно ли использовать снимки состояния, созданные вручную, для восстановления домена в случае сбоя?
Да. Создать новый домен Amazon OpenSearch Service и загрузить данные из снимка состояния в новый домен Amazon OpenSearch Service можно с помощью API восстановления Elasticsearch / OpenSearch.
Что произойдет со снимками состояния, когда домен сервиса Amazon OpenSearch будет удален?
Ежедневные снимки состояния, сохраненные сервисом Amazon OpenSearch Service, будут удалены в процессе удаления домена. Перед удалением домена рекомендуется создать снимок состояния домена вручную и сохранить его в собственной корзине S3. Снимки состояния, сохраненные в пользовательской корзине S3, не будут затронуты при удалении домена Amazon OpenSearch Service.
Какие типы журналов OpenSearch / Elasticsearch предоставляет сервис Amazon OpenSearch?
Amazon OpenSearch Service предоставляет три типа журналов Elasticsearch или OpenSearch через Amazon CloudWatch Logs: журналы ошибок, журналы медленных запросов для операций поиска и журналы медленных запросов для операций индексирования. Эти журналы позволяют находить и устранять проблемы с производительностью и стабильностью в домене.
Что такое журналы медленных запросов?
Журналы медленных запросов – это файлы журналов, позволяющие отслеживать производительность на различных этапах выполнения операции. OpenSearch и Elasticsearch предоставляет два вида журналов медленных запросов:
- Index Slow Logs. Эти журналы содержат подробные данные о процессе индексирования; их можно использовать для оптимизации настроек индексирования.
- Журналы медленных запросов для операций поиска содержат данные о скорости выполнения запросов и извлечения данных. С их помощью можно оптимизировать выполнение любых операций поиска в OpenSearch или Elasticsearch.
Подробнее о журналах медленных запросов см. в документации OpenSearch.
Как включить журналы медленных запросов в сервисе Amazon OpenSearch?
Журналы медленных запросов можно включить за один щелчок мышью в консоли сервиса, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.
Можно ли включить журналы медленных запросов для определенных индексов?
Да. Можно включить или отключить журналы медленных запросов для определенного индекса в его настройках. Подробнее см. в документации.
Происходит ли при включении журналов медленных запросов в сервисе Amazon OpenSearch автоматическое включение журналов для всех индексов?
Нет. Включение журналов медленных запросов в Amazon OpenSearch Service предоставляет возможность публикации в Amazon CloudWatch Logs журналов для индексов в данном домене. Однако чтобы начать процесс ведения таких журналов, необходимо обновить настройки одного или нескольких индексов. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.
Если отключить журналы медленных запросов в сервисе Amazon OpenSearch, прекратится ли создание файлов журналов?
Нет. Создание файлов журналов зависит от настроек индекса. Чтобы отключить создание файлов журнала, необходимо обновить конфигурацию индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации.
Можно ли изменить степень детализации при ведении журналов?
Степень детализации при ведении журналов можно изменять только для журналов медленных запросов. OpenSearch и Elasticsearch поддерживают несколько уровней ведения журналов медленных запросов. Требуется установить соответствующий уровень в конфигурации индекса. Подробнее о настройке конфигурации индекса для включения журналов медленных запросов см. в документации OpenSearch.
Приведет ли включение журналов медленных запросов или журналов ошибок к дополнительным затратам?
При включении журналов медленных запросов или журналов ошибок Amazon OpenSearch Service начинает публиковать создаваемые журналы в Amazon CloudWatch Logs. Amazon OpenSearch Service не взимает плату за включение журналов. Однако к этим журналам применяются стандартные тарифы сервиса CloudWatch.
Какие типы журналов ошибок предоставляет сервис Amazon OpenSearch?
OpenSearch использует Apache Log4j 2 и собственные уровни журналов (в порядке возрастания степени серьезности ошибки): TRACE, DEBUG, INFO, WARN, ERROR и FATAL. При включении журналов ошибок Amazon OpenSearch Service публикует строки журналов со статусом WARN, ERROR и FATAL и некоторых ошибок уровня DEBUG в CloudWatch. Дополнительную информацию см. в документации.
Как включить журналы ошибок в сервисе Amazon OpenSearch?
Журналы ошибок можно включить за один щелчок мышью в консоли AWS, а также с помощью интерфейса командной строки или API. Подробнее см. в документации.
Можно ли включить журналы ошибок только для определенных индексов?
Нет, журналы ошибок предоставляются для всего домена. Это значит, что при включении журналов станут доступны их записи из всех индексов домена.
Для всех ли версий Elasticsearch, поддерживаемых сервисом Amazon OpenSearch, доступны журналы ошибок?
Нет, журналы ошибок доступны только для Elasticsearch версии 5.x и новее.
Существует ли ограничение по длине записей в журнале?
Да. Для каждой записи журнала, внесенной в CloudWatch, действует ограничение: 255 000 символов. Если сохраняемая запись длиннее, она будет обрезана до 255 000 символов.
Каковы рекомендации по использованию журналов медленных запросов?
Журналы медленных запросов требуются только тогда, когда необходимо устранить проблемы с индексами или оптимизировать производительность. Рекомендуется включать ведение журналов медленных запросов только для тех индексов, для которых нужны дополнительные данные о производительности. После получения необходимой информации ведение журнала следует отключить во избежание дополнительных расходов. Подробнее см. в документации.
Как получить журналы из CloudWatch Logs?
CloudWatch предлагает множество способов получения журналов. Можно просматривать данные журнала, экспортировать их в S3 или обрабатывать данные в режиме реального времени. Подробнее см. в Руководстве для разработчиков по CloudWatch Logs.
Для всех ли версий OpenSearch и Elasticsearch, поддерживаемых сервисом Amazon OpenSearch, доступны журналы медленных запросов?
Да. Журналы медленных запросов можно включить для всех версий OpenSearch и Elasticsearch, поддерживаемых Amazon OpenSearch Service. Однако для каждой версии Elasticsearch существуют некоторые отличия в способе настройки параметров журнала. Подробнее см. в документации.
Приводит ли включение или выключение ведения журналов к перебоям в работе кластера?
Нет. Перебоев в работе кластера не будет. При каждом обновлении состояния журнала в фоновом режиме развертывается новый кластер, который затем заменяет уже существующий. Такая технология позволяет избежать отключения кластера. Но поскольку развертывается новый кластер, обновление состояния журнала не происходит мгновенно.
Какие версии Elasticsearch и OpenSearch поддерживают функцию местного обновления?
В настоящее время Amazon OpenSearch Service поддерживает местное обновление версии для доменов с любой версией OpenSearch и Elasticsearch версий 5.x и выше. При обновлениях поддерживаются следующие целевые версии: 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1, 7.4, 7.7, 7.8, 7.9 и 7.10. Дополнительную информацию см. в документации.
В домене используется Elasticsearch версии ниже 5.x. Как обновить такой домен?
Подробнее о миграции с различных версий Elasticsearch см. в документации.
Будет ли домен недоступен при выполнении местного обновления?
Нет. В ходе обновления домен остается доступным. Однако часть процесса обновления предполагает перемещение сегментов, и это может сказаться на производительности домена. Обновление рекомендуется проводить при низкой нагрузке на домен.
Как проверить возможность обновления версии Elasticsearch, используемой в домене?
Местное обновление версии доступно только для доменов, в которых используется Elasticsearch версии 5.x и новее. Если в домене используется версия 5.x или новее, можно выполнить проверку наличия обновления, которая покажет, можно ли обновить домен до требуемой версии. Подробнее см. в документации.
Какие тесты проводит сервис Amazon OpenSearch, чтобы определить возможность обновления доменов?
Подробный список тестов, проводимых для определения наличия обновления, см. в документации.
Можно ли изменять конфигурацию домена в ходе обновления версии?
Нет. После запуска местного обновления версии вносить изменения в конфигурацию домена нельзя, пока процесс обновления не завершится или не произойдет его сбой. В ходе обновления можно считывать и записывать данные. Кроме того, можно удалить домен. Это приведет к прекращению обновления и удалению домена.
Что происходит с автоматически создаваемым снимком состояния системы в ходе местного обновления версии?
Перед обновлением версии автоматически создается снимок состояния системы. Обновление начинается только в случае успешного создания снимка. Если время начала автоматического создания снимка состояния наступает в ходе обновления, снимок в этот день не создается и переносится на следующий.
Какие меры принимает Сервис Amazon OpenSearch на случай ошибок, которые могут внезапно возникнуть в ходе обновления версии?
Перед запуском процесса обновления Amazon OpenSearch Service выполняет набор тестов для поиска известных проблем, которые могут препятствовать обновлению. Если проблемы не обнаружены, сервис создает снимок состояния домена и запускает процесс обновления в случае успешного создания снимка. Процесс обновления не начинается, если на каком‑либо этапе обнаруживаются ошибки.
Что происходит при обнаружении ошибок в системе в ходе местного обновления версии?
Если обнаруженные ошибки незначительны и могут быть исправлены, Amazon OpenSearch Service автоматически предпринимает попытку исправить их и возобновить обновление. Однако если ошибка препятствует обновлению, сервис возвращается к снимку состояния, созданному перед обновлением, и фиксирует ошибку в журнале. Подробнее о просмотре журналов, созданных в ходе обновления, см. в документации.
Можно ли просмотреть историю обновлений домена?
Да. Журналы обновления можно просмотреть в консоли AWS. Их также можно запросить с помощью интерфейса командной строки или пакетов SDK. Подробнее см. в документации.
Можно ли приостановить или отменить обновление версии после его запуска?
Нет. После запуска обновление нельзя приостановить или отменить. Оно будет выполняться до завершения или пока не произойдет сбой.
Можно ли выполнять местное обновление версии в нескольких доменах одновременно?
Да. Однако чтобы для всех доменов сохранялась одна версия, рекомендуется выполнить проверку наличия обновления во всех доменах, прежде чем обновлять их. Этот дополнительный этап помогает обнаружить ошибки в домене, которые могут отсутствовать в других.
Сколько времени занимает местное обновление версии?
В зависимости от объема данных и размера кластера обновления могут занимать от нескольких минут до нескольких часов.
Можно ли просто обновить версию домена, не сохраняя данные?
Нет. В ходе местного обновления версии предусмотрено восстановление всех данных в кластере. Чтобы обновить только домен, можно сделать снимок данных, удалить все индексы из домена и затем запустить местное обновление версии. Как вариант, можно создать отдельный домен с более новой версией, после чего восстановить данные в этот домен.
Можно ли выполнить возврат к более ранней версии, если новая версия не устраивает?
Нет. Если вам необходимо перейти на более старую версию, обратитесь в службу поддержки AWS Support для восстановления автоматического снимка состояния, сделанного до обновления, на новом домене. Если снимок состояния исходного домена был сделан вручную, вы можете выполнить восстановление самостоятельно.
Развертывание в нескольких зонах доступности с резервным инстансом
Что такое развертывание в нескольких зонах доступности с резервным инстансом?
Развертывание в нескольких зонах доступности с резервным инстансом – это новый вариант развертывания Сервиса Amazon OpenSearch, обеспечивающий высокую доступность и стабильную производительность для критически важных рабочих нагрузок. Благодаря этой технологии управляемые кластеры Сервиса OpenSearch устойчивы к сбоям инфраструктуры, таким как выбывание узлов или отказ одной зоны доступности, что не влияет на производительность или доступность даже в случае сбоя одной зоны доступности. Развертывание в нескольких зонах доступности с резервным инстансом обеспечивает дополнительное преимущество в виде упрощения настройки кластера и управления им за счет применения передовых методов работы и снижения сложности.
Каковы предварительные требования для создания или обновления кластера для развертывания в мульти-AZ с резервированием?
Чтобы включить развертывание в нескольких зонах доступности с резервным инстансом, управляемые кластеры должны соответствовать следующим условиям:
- Запустите OpenSearch 1.3 или более поздней версии.
- Развертывайте в регионах AWS с помощью технологии 3-AZ. В настоящее время регион AWS в Северной Калифорнии не поддерживает технологию 3-AZ и поэтому не подходит для развертывания в нескольких зонах доступности.
- Количество узлов данных должно быть кратно трем.
- Количество копий данных (основная + копия) должно быть кратно трем.
- Следуйте рекомендациям по размеру для лидера (рекомендуемый размер зависит от количества узлов, сегментов и сопоставлений в вашем кластере).
Какие сценарии сбоев охватывает, а какие не охватывает эта функция?
Благодаря развертыванию в нескольких зонах доступности Сервис Amazon OpenSearch обнаруживает и автоматически восстанавливает некоторые отказы инфраструктуры. Сервис Amazon OpenSearch автоматически переключается с активных узлов на резервные менее чем за минуту при возникновении любого из следующих событий:
- Потеря одной активной зоны доступности или всех узлов в активной зоне доступности
- Потеря подключения к одной активной зоне доступности
- Аппаратный сбой инстанса в активной зоне доступности
- Сбой хранилища на узле в активной зоне доступности
В настоящее время развертывание в нескольких зонах доступности не распространяется на следующие события:
- Потеря основного кворума, так как восстановление после этого события может занять несколько минут
- Потеря нескольких зон доступности
- Потеря подключения к региону
- Потеря более 50 % узлов в нескольких зонах доступности
- Время простоя, вызванное нехваткой вычислительных ресурсов или хранилища в результате изменения характеристик рабочей нагрузки
- Время простоя, вызванное запросами маршрута
- Потеря одного или нескольких сервисов, от которых зависит Сервис Amazon OpenSearch, таких как ARPS и ALB
- Время простоя панели управления OpenSearch во время обновления версий
Нужно ли менять размер управляемых кластеров, использующих мульти-AZ с резервированием? Как определить размер управляемых кластеров для мульти-AZ с резервированием?
Нет. В принципе, рекомендации по размерам остаются прежними. Для развертывания в нескольких зонах доступности существуют предварительные требования, упрощающие ментальную модель, необходимую для определения размера кластера. Подход к определению размера управляемого кластера заключается в том, что необходимо определить емкость, необходимую для обслуживания рабочей нагрузки, а затем добавить 50 % для резервирования. Основное различие между текущей опцией «Зональная осведомленность» и опцией развертывания в нескольких зонах доступности заключается в том, как используются резервные или дополнительные ресурсы для поддержания доступности. Для развертывания в нескольких зонах доступности требуется наличие хотя бы одной копии данных в каждой зоне доступности, чтобы можно было явно резервировать емкость в одной зоне доступности. Эта резервная емкость служит целевым ресурсом для переключения при сбое в работе зоны доступности или отказе инстанса. Существующая модель требует поддержания оптимального уровня ресурсов для выполнения рабочей нагрузки. Вы должны постоянно отслеживать кластер на предмет проблем с размерами и выполнять корректирующие действия по мере изменения характеристик рабочей нагрузки.
Означает ли выбор мульти-AZ с резервированием то, что мне больше не нужно следить за тем, чтобы размер и ресурсы кластера соответствовали моим рабочим нагрузкам?
Нет. Сервис Amazon OpenSearch работает по модели совместной ответственности. Вы несете ответственность за соответствие размера кластера рабочей нагрузке. Развертывание в нескольких зонах доступности с резервным инстансом упрощает ментальную модель настройки кластера. Следует продолжать отслеживать показатели ошибок и задержек, а также данные об использовании хранилища, процессора и оперативной памяти на предмет сигналов о том, что кластер перегружен и его, возможно, потребуется масштабировать.
Понесу ли я дополнительные расходы при использовании мульти-AZ с резервированием?
Нет. Развертывание в нескольких зонах доступности с резервным инстансом доступно без дополнительной оплаты. Вы продолжаете платить за ресурсы, развернутые в кластере для обслуживания рабочей нагрузки. Если ваш кластер уже выполняет лучшие рекомендации и содержит не менее трех копий данных для кластера 3-AZ, вы вряд ли понесете дополнительные расходы при переходе на развертывание в нескольких зонах доступности. Однако если размер вашего кластера невелик или в нем недостаточно резервных ресурсов для выполнения рабочей нагрузки, для повышения доступности и производительности необходимо добавить емкость для перехода на развертывание в нескольких зонах доступности. Резервная емкость зарезервирована из настроенной общей емкости.
Соглашение об уровне обслуживания
Что гарантирует соглашение об уровне обслуживания (SLA) сервиса Amazon OpenSearch?
Соглашение об уровне обслуживания (SLA) Amazon OpenSearch Service гарантирует бесперебойное ежемесячное время работы сервиса Amazon OpenSearch Service на уровне не менее 99,9 %.
Как узнать, могу ли я претендовать на компенсацию по соглашению об уровне обслуживания?
Вы можете претендовать на компенсацию в рамках SLA для Amazon OpenSearch Service в том случае, если домены Amazon OpenSearch Service, расположенные в нескольких зонах доступности, демонстрируют в течение любого оплаченного месяца время бесперебойной работы на уровне менее 99,9 %.
С условиями и положениями соглашения, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений о соглашении об уровне обслуживания Сервиса Amazon OpenSearch.
Поиск по нескольким кластерам
Что представляет собой поиск по нескольким кластерам?
Поиск по нескольким кластерам – это возможность Elasticsearch и OpenSearch, которая позволяет выполнять запросы и агрегировать данные на двух подключенных кластерах. Такая возможность обеспечивается путем настройки компактного однонаправленного соединения между участвующими кластерами.
Каковы минимальные требования к домену для участия в поиске по нескольким кластерам?
Домены, участвующие в поиске по нескольким кластерам, должны удовлетворять следующим критериям:
- Участвующие домены должны использовать OpenSearch или Elasticsearch версии 6.8 или новее
- На участвующих доменах должно быть включено шифрование данных при передаче
- На участвующих доменах должен применяться точный контроль доступа (FGAC).
- При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.
На каких типах инстансов поддерживается поиск по нескольким кластерам?
В настоящий момент поиск по нескольким кластерам поддерживается на следующих типах инстансов.
- Семейство i2, i3
- Семейство r3, r4, r5
- Семейство m4, m5
- Семейство c4, c5
- Семейство Graviton
На каких типах инстансов поиск по нескольким кластерам не поддерживается?
Поиск по нескольким кластерам не поддерживается на инстансах семейств t2 и m3 в связи с техническими ограничениями.
Можно ли настроить поиск по нескольким кластерам для доменов из двух разных аккаунтов AWS?
Да. Участвующие домены могут принадлежать двум разным аккаунтам AWS.
Можно ли настроить поиск по нескольким кластерам для доменов из двух разных регионов AWS?
Да.
Как начать использовать поиск по нескольким кластерам?
Чтобы начать работу с поиском по нескольким кластерам, следуйте документации.
Репликация в нескольких кластерах
Что представляет репликация в нескольких кластерах?
Репликация в нескольких кластерах – новая возможность, которая позволяет клиентам Сервиса Amazon OpenSearch автоматизировать копирование и синхронизацию индексов из одного кластера в другой с низкой задержкой в одном или разных регионах AWS.
Каковы минимальные требования к домену для участия в репликации в нескольких кластерах?
Домены, участвующие в репликации в нескольких кластерах, должны удовлетворять следующим критериям:
- Участвующие домены должны использовать Elasticsearch версии 7.10
- На участвующих доменах должно быть включено шифрование данных при передаче
- На участвующих доменах должен применяться точный контроль доступа (FGAC).
- При последовательном обновлении версий версии участвующих доменов должны соответствовать одинаковым правилам.
Можно ли настроить репликацию в нескольких кластерах для доменов из двух разных регионов AWS?
Да, домены из двух разных регионов AWS могут участвовать в репликации в нескольких кластерах.
Поддерживает ли репликация в нескольких кластерах хранилища Ultrawarm и хранилища «холодных» данных?
Нет. Текущая версия репликации в нескольких кластерах не поддерживает хранилища Ultrawarm и хранилища «холодных» данных.
Какова стоимость репликации в нескольких кластерах?
Да. К данным, которые переносятся в Сервис Amazon OpenSearch и из него, применяется стандартная плата за передачу данных AWS.
Изменение названия
Почему название Amazon Elasticsearch Service сменилось на сервис Amazon OpenSearch?
12 апреля 2021 года мы объявили о создании проекта OpenSearch – развиваемой сообществом ветви Elasticsearch и Kibana с открытым исходным кодом. Мы взяли на себя обязательство долгосрочного инвестирования в OpenSearch, чтобы по-прежнему давать пользователям безопасный, высококачественный, полностью открытый набор инструментов поиска и аналитики с насыщенной стратегией новых и инновационных функциональных возможностей. В проект входят OpenSearch (производная Elasticsearch 7.10.2) и OpenSearch Dashboards (производная Kibana 7.10.2). 12 июля 2021 года мы запустили OpenSearch версии 1.0. В рамках нашего долгосрочного взаимодействия с OpenSearch 7 сентября 2021 года мы добавили в управляемый сервис поддержку OpenSearch 1.0 и изменили название с Amazon Elasticsearch Service на Amazon OpenSearch Service. Наряду с OpenSearch 1.0 мы по-прежнему поддерживаем устаревшие версии Elasticsearch до 7.10. Вы можете быть уверены, что изменилось лишь название. Мы стремимся все также предоставлять услуги отличного качества без какого-либо влияния на текущие операции, методы разработки или работу с бизнесом. Узнайте больше об OpenSearch на сайтеhttps://opensearch.org
Необходимо ли мне, как клиенту, предпринимать какие-либо действия из-за изменения названия?
Мы хотели провести смену названия как можно более безболезненно для вас. Есть аспекты, требующие ваших действий для получения максимальной пользы от сервиса. Например, новые SDK / конфигурации API. Несмотря на то, что существующий SDK будет совместим и продолжит работать, любая новая функциональная возможность, требующая обновленной конфигурации API, будет реализована только в новом SDK. Поэтому мы рекомендуем на него перейти. Кроме того, независимо от нового пакета SDK, мы настоятельно рекомендуем вам переместить существующие политики IAM, чтобы использовать переименованные конфигурации API. На данный момент ваши текущие политики IAM работают со старым определением API. Тем не менее, мы перейдем на новую проверку разрешений на базе API и в конечном итоге потребуем от вас использования новых API в политиках (в частности, для тех API, в которых меняется название; например, CreateElasticsearchDomain для CreateDomain). Подробнее см. в документации.
Нужно ли мне переходить на новый SDK для обновления до OpenSearch 1.0?
Нет. Мы позаботимся, с учетом обратной совместимости, о том, чтобы ваши текущие настройки продолжали работать с OpenSearch 1.0. Тем не менее, как упоминалось выше, мы рекомендуем в дальнейшем перейти на последнюю версию SDK для более четкой работы на современном уровне.
Есть ли какие-либо изменения в ценообразовании в связи со сменой названия?
Нет, ценообразование не меняется.
В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.
Обновление версии
Я использую движок Elasticsearch в сервисе Amazon OpenSearch. Почему необходимо обновление до движка OpenSearch 1.x? В чем заключаются преимущества?
Обновление до OpenSearch 1.x гарантирует, что ваша поисковая инфраструктура будет создана на основе растущего и динамичного проекта с открытым кодом и лицензий Apache. Это предоставит вам доступ ко множеству инновационных улучшений и функциональных возможностей, доступных в OpenSearch 1.2 (на момент написания этой статьи). Такие функциональные возможности, как защита корпоративного уровня, оповещения, управление жизненным циклом данных, наблюдение, обнаружение отклонений на основе машинного обучения и многие другие, являются частью сервиса OpenSearch и предоставляются без дополнительной платы за лицензию.
Возникнет ли простой в случае перехода на другую версию?
Мы используем сине-зеленый процесс развертывания во время перехода на новую версию. Во время сине-зеленого процесса сервис добавляет узлы к кластеру OpenSearch в новой конфигурации и версии, переносит данные из старых узлов и отключает новые узлы после завершения переноса данных. Пока выполняется сине-зеленый процесс, API поиска и индексирования доступны и функционируют в обычном режиме. Хотя сине-зеленый процесс разработан так, чтобы он не мешал запросам и индексированию, при внесении некоторых изменений (особенно касающихся настроек безопасности) информационные панели будут недоступными.
Какие версии OpenSearch и Elasticsearch поддерживает сервис OpenSearch?
OpenSearch поддерживает несколько версий Elasticsearch и OpenSearch. Для некоторых из них уже объявлены даты окончания стандартной и расширенной поддержки. Полный список версий движка и соответствующие даты окончания поддержки см. в документации. Подробнее о расширенной поддержке см. в разделе о расширенной поддержке.
Прекращает ли AWS поддержку старых версий сервиса Elasticsearch?
AWS поддерживает 19 версий Elasticsearch с лицензией Apache 2.0. В настоящее время прекращение поддержки какой-либо из этих версий не происходит и не планируется.
Приведет ли переход на новую версию к запуску сине-зеленого процесса? Если нет, то каков процесс перехода наших узлов на новую версию?
Да, переход на новую версию приведет к запуску сине-зеленого процесса развертывания. Ознакомьтесь с подготовкой к переходу на новую версию и другими инструкциями здесь.
Я хочу перейти на сервис Amazon OpenSearch 1.x, чтобы воспользоваться преимуществами инстансов AWS Graviton2, но мне мешают мои существующие зарезервированные инстансы (RI). Чем вы можете помочь?
Обратитесь к своей команде обслуживания клиентов AWS для получения информации по вашей конкретной ситуации с RI.
Что мне следует запланировать перед началом перехода на сервис Amazon OpenSearch версии 1.x или более поздней?
Проект OpenSearch 1.0 – это форк Elasticsearch 7.10.2 с открытым исходным кодом. Он совместим с Elasticsearch 7.10 – не нужно менять использование. Для переноса можно обновить домен любой предыдущей версии в сериях 6.x и 7.x до версии Elasticsearch 7.10, создать снимок состояния и восстановить его в домене, где работает сервис OpenSearch 1.x. Некоторые клиенты или инструменты включают проверку версий, из-за чего клиент или инструмент может не работать с сервисом OpenSearch. При переходе на новую версию необходимо включить режим совместимости, чтобы обойти эти проверки версий.
Могу ли я продолжать использовать мои существующие клиенты, инструменты для сбора и получения данных с сервисом Amazon OpenSearch 1.x?
В большинстве случаев вы можете продолжать использовать существующие клиенты. API и ключевые функции поиска совместимы с Elasticsearch версии 7.10.2. Если у вас более старые клиенты, если клиенты выполняют проверку версий или используют функции, предназначенные для более старых версий Elasticsearch, например основных версий 5 или 6, рекомендуем привести эти клиенты к минимальному стандарту поддержки 7.10.2, чтобы обеспечить плавный переход.
Проект OpenSearch поддерживает самые разные клиенты, которые специально созданы для работы с версиями OpenSearch движка в сервисе Amazon OpenSearch. Проверьте свой клиент, сверяясь со списком новейших клиентов OpenSearch и поддерживаемых языков программирования для этих клиентов.
Можно включить функцию режима совместимости, чтобы обеспечить взаимодействие с клиентами от других поставщиков, но не забудьте проверить версию, указанную OpenSearch. Включайте этот параметр, чтобы сервис с версией 7.10.2 соответствовал клиентам, разработанным до выпуска движка сервиса OpenSearch.
У меня работает Elasticsearch версии 5.x или более ранней. Какой алгоритм перехода на новую версию для меня оптимальный?
Индексы Elasticsearch 5.x несовместимы с Elasticsearch 7.10 или OpenSearch 1.x. Вам нужно создать новый индекс и загрузить данные из своего источника. Если у вас выполняется рабочая нагрузка аналитики журналов, вы можете проанализировать, поддерживает ли ваша стратегия хранения данных параллельное выполнение, пока создаете полный набор данных в новом домене.
Есть ли партнеры, которые могут помочь мне с переходом на новую версию?
Да, запросите список партнеров из своего региона, которые работают в вашей отрасли с проектами нужной сложности, отправив письмо на адрес opensearchmigration-si-support@amazon.com. Участники партнерской сети AWS (APN) прошли обучение и достаточно опытны, чтобы помочь вам выполнить обновление до новой версии.
Останется ли сервис Amazon OpenSearch совместимым с Elasticsearch в будущем? Каковы планы на будущее?
OpenSearch 1.0 – это форк Elasticsearch 7.10.2. OpenSearch и Elasticsearch совместимы. Если вы включите режим совместимости, клиенты Elasticsearch также будут совместимы с OpenSearch 1.0.
Сервис Amazon OpenSearch не предлагает и не будет предлагать версии движка Elasticsearch после версии 7.10.2.
Как объявляла компания AWS, когда мы создавали форк Elasticsearch, то намеревались сформировать развивающееся сообщество OpenSearch, и нам это удалось. Мы опубликовали дорожную карту для OpenSearch, внесли пожелания сообщества и достигли консенсуса относительно приоритетов функций. Мы предпримем все разумные усилия, чтобы сохранить совместимость с Elasticsearch. Наша цель – расти вместе с нашим сообществом и клиентами сервиса Amazon OpenSearch.
Вы можете напрямую обновить Elasticsearch и Kibana (версий от 6.8.0 до 7.10.2), а также Open Distro для Elasticsearch (ODFE) 1.x до сервиса OpenSearch 1.0. Для последовательного обновления ODFE до OpenSearch мы рекомендуем сначала перейти на ODFE 1.13, а затем – на OpenSearch 1.0.
Ресурсы для миграции:
Расширенная поддержка
Что такое стандартная поддержка и расширенная поддержка?
Каждая версия движка, запущенная в сервисе OpenSearch, по умолчанию покрывается стандартной поддержкой. В рамках стандартной поддержки AWS регулярно исправляет ошибки и обновляет систему безопасности. По окончании срока действия стандартной поддержки AWS начинает предоставлять услуги расширенной поддержки продолжительностью не менее 12 месяцев после даты окончания срока действия стандартной поддержки. В период расширенной поддержки AWS предоставит критически важные исправления безопасности и исправления ОС. Это даст вам больше времени на планирование обновления до более поздней поддерживаемой версии движка. При использовании версии с расширенной поддержкой в дополнение к стоимости стандартного инстанса и хранилища будет взиматься фиксированная плата за NIH. Подробнее о расширенной поддержке и планах версий см. в документации. Информацию о ценах см. на странице цен.
Нужно ли подписываться на расширенную поддержку?
Нет. Домены на базе версий с завершенным сроком действия стандартной поддержки автоматически переходят на расширенную поддержку и подлежат оплате по соответствующей цене. После обновления домена до новой версии стандартной поддержки счета за расширенную поддержку выставляться не будут.
Какова стоимость расширенной поддержки и дата начала расчета?
За домены с расширенной поддержкой, помимо стандартной платы за инстансы и хранилище, взимается дополнительная фиксированная плата за NIH. Точные цены по регионам см. на странице цен. Плата за расширенную поддержку домена взимается автоматически на следующий день после окончания срока действия стандартной поддержки. Если на домене установлена версия с опубликованными датами стандартной и расширенной поддержки (подробности см. здесь), за три месяца до даты окончания срока действия стандартной поддержки будет отправлено уведомление на персональную панель работоспособности, в консоли сервиса OpenSearch и в рамках событий EventBridge. Подробнее о мониторинге уведомлений в сервисе OpenSearch см. в документации.
Как рассчитать стоимость расширенной поддержки для доменов?
С доменов на базе версий с расширенной поддержкой будет взиматься дополнительная фиксированная плата или плата за нормализованное время работы инстанса (NIH). NIH рассчитывается как коэффициент размера инстанса (например, среднего, большого) и количества часов работы инстанса. Например, при использовании инстанса m7g.medium.search в течение 24 часов в регионе «Восток США» (Северная Вирджиния) по цене 0,068 USD/час (по запросу) стоимость инстанса составляет 1,632 USD (0,068 USD x 24). При использовании версии с расширенной поддержкой взимается дополнительная плата в размере 0,0065 USD за NIH. Стоимость рассчитывается так: 0,0065 USD x 24 (количество часов работы инстансов) x 2 (коэффициент нормализации размера; 2 для инстансов среднего размера), что составляет 0,312 USD за расширенную поддержку в течение 24 часов. Общая стоимость за 24 часа составит сумму стандартной стоимости инстанса (за исключением хранилища) и стоимости расширенной поддержки в размере 1,944 USD (1,632 USD + 0,312 USD). Подробности см. в документации.
Как избежать платы за расширенную поддержку?
Можно обновить домен до версии движка со стандартной поддержкой. Версия покрывается стандартной поддержкой до опубликованной даты окончания срока действия стандартной поддержки или если дата окончания срока действия стандартной поддержки не была объявлена для этой версии.
Можно ли продлить срок действия расширенной поддержки?
Нет. Мы рекомендуем перейти на версию, покрываемую стандартной или расширенной поддержкой, либо на версию, для которой окончание срока действия еще не объявлено. Как только расширенная поддержка версии закончится, домены с соответствующей версией не будут получать исправления ошибок или обновления безопасности.
Что произойдет по окончании срока действия расширенной поддержки?
Как только расширенная поддержка версии закончится, домены с соответствующей версией не будут получать исправления ошибок или обновления безопасности. Мы настоятельно рекомендуем обновить домен до поддерживаемой версии до окончания срока действия расширенной поддержки соответствующей версии. При необходимости дополнительной помощи обратитесь в службу поддержки AWS.
Существуют ли какие-либо ограничения для домена с версией с расширенной поддержкой? Например, можно ли выделять новые инстансы или создавать новые домены?
Да. Пока требуемая версия движка покрывается расширенной поддержкой, можно продолжать использовать сервис в стандартном режиме без ограничений.
Какие исправления включены в расширенную поддержку?
В рамках расширенной поддержки AWS предоставляет критически важные исправления безопасности и ОС по мере необходимости.
Поддерживается ли обновление новых версий на месте без простоев?
Да, в зависимости от версии, с которой вы переходите, и от версии, на которую вы переходите. Список поддерживаемых способов обновления см. в документации. При переходе с устаревших версий, таких как ES 1.5 или ES 2.3, обновления на месте не поддерживаются. Инструкции по обновлению доменов устаревших версий см. в документации.
Интеграции с нулевым использованием ETL
Почему следует использовать интеграцию сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon DynamoDB?
Интеграция с нулевым использованием ETL с Amazon DynamoDB позволяет устранить сложности эксплуатации, связанные с организацией репликации данных из рабочего хранилища данных в хранилище поисковых данных. Конвейеры данных, используемые для синхронизации разных хранилищ данных, могут быть сложными и дорогостоящими в создании и управлении. Кроме того, периодически возникают ошибки, которые трудно отследить. Данная интеграция позволяет клиентам Amazon DynamoDB получать результаты поиска по транзакционным данным в режиме, близком к реальному времени, предлагая полностью управляемое решение, которое предоставляет возможность сделать рабочие данные из Amazon DynamoDB доступными в сервисе Amazon OpenSearch в течение нескольких секунд после их записи.
Как данная интеграция с нулевым использованием ETL позволяет реплицировать данные из Amazon DynamoDB в сервис Amazon OpenSearch?
При интеграции сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon DynamoDB применяется функция получения данных с помощью Amazon OpenSearch для беспрепятственного перемещения рабочих данных из Amazon DynamoDB в сервис Amazon OpenSearch. Чтобы включить интеграцию, сначала нужно выбрать таблицу Amazon DynamoDB, данные которой подлежат репликации. Функция интеграции с нулевым использованием ETL позволяет создать конвейер получения данных Amazon OpenSearch в аккаунте клиента. Данный конвейер обеспечивает репликацию данных в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch. Функция получения данных Amazon OpenSearch распознает структуру таблиц Amazon DynamoDB и затем загружает в управляемый кластер или бессерверную коллекцию сервиса Amazon OpenSearch существующие данные из таблиц DynamoDB. При желании можно указать схему индексов, которые будут созданы в сервисе Amazon OpenSearch. Любые обновления таблицы DynamoDB также реплицируются в сервис Amazon OpenSearch без вмешательства клиентов в ручном режиме.
Как происходит преобразование данных при их перемещении из Amazon DynamoDB в Сервис Amazon OpenSearch?
Данная функция с нулевым использованием ETL использует получение данных Amazon OpenSearch для перемещения данных из Amazon DynamoDB в сервис Amazon OpenSearch и использует нативные возможности преобразования данных конвейеров получения данных Amazon OpenSearch для агрегации и фильтрации данных в процессе их перемещения. При перемещении данных из таблицы Amazon DynamoDB клиенты могут удалить несколько полей или создать новые на основе агрегации уже существующих полей. Чтобы получить индивидуальные возможности преобразования данных, клиенты при желании также могут написать собственную логику для получения данных Amazon OpenSearch. Для других пользователей, которые просто хотят перенести все свои данные из источника в получатель, функция получения данных Amazon OpenSearch предоставляет готовые чертежи, с помощью которых можно выполнять интеграцию всего несколькими щелчками мыши.
Какие разрешения системы безопасности необходимы для применения интеграции с нулевым использованием ETL для DynamoDB?
Чтобы обеспечить функцию получения данных OpenSearch необходимыми разрешениями на репликацию данных в обеих системах, интеграция DynamoDB с нулевым использованием ETL с сервисом OpenSearch создает роль IAM с необходимыми разрешениями для чтения данных из таблиц Amazon DynamoDB, а также записи в домен или коллекцию Amazon OpenSearch. Затем эту роль берут на себя конвейеры получения данных Amazon OpenSearch, гарантирующие постоянное соблюдение надлежащего уровня безопасности при перемещении данных от источника к конечной точке.
Как отслеживать состояние интеграции между Amazon DynamoDB и Сервисом Amazon OpenSearch?
Все метрики, связанные с интеграцией с нулевым использованием ETL с Amazon DynamoDB, можно просматривать на информационных панелях получения данных Amazon OpenSearch, а также в журналах реального времени в Amazon CloudWatch. Это позволяет клиентам настраивать пользовательские оповещения, которые срабатывают при превышении заданных пользователем пороговых значений.
Как работает интеграция сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon S3?
Архитектура механизма запросов сервиса OpenSearch была изменена с целью поддержки анализа рабочих данных, хранящихся в облачных хранилищах объектов, таких как Amazon S3 и озера данных на базе S3. Данные при этом не дублируются. За считанные секунды клиенты могут повысить производительность своих запросов, а также создать быстро загружаемые информационные панели, используя встроенные в новую интеграцию возможности ускорения запросов.
Как начать использовать интеграцию Amazon OpenSearch с нулевым использованием ETL с Amazon S3?
Чтобы начать работу с Консоли управления AWS, клиенты настраивают новый источник данных из существующего домена сервиса OpenSearch под управлением сервиса OpenSearch версии 2.11 или более новой. При настройке нового источника данных Direct Query клиентам необходимо предоставить доступ для чтения и записи к Amazon S3 и каталогу данных AWS Glue, чтобы упростить выполнение запросов к данным в Amazon S3 из сервиса OpenSearch. Клиенты могут настроить политики IAM, чтобы ограничить доступ к определенным корзинам в Amazon S3 или к ресурсам в каталоге данных AWS Glue. После настройки нового источника данных в консоли клиент переходит в сервис OpenSearch и настраивает управление доступом на основе ролей, ускорение для повышения производительности запросов, а также (по желанию) готовые панели управления для популярных шаблонов типов журналов, таких как журналы VPC Flow, эластичного балансировщика нагрузки и NGINX. Плата с клиентов взимается за потребленные вычислительные ресурсы в виде вычислительных единиц OpenSearch Direct Query (OCU, оплата за использование). После настройки нового источника данных клиент может начать запрашивать свои данные непосредственно из API OpenSearch или информационных панелей OpenSearch.
Как рассчитываются цены на интеграцию сервиса Amazon OpenSearch с нулевым использованием ETL с Amazon S3?
Клиенты платят только за ресурсы, потребляемые рабочей нагрузкой. Сервис OpenSearch предусматривает оплату только вычислительных ресурсов, необходимых для прямых запросов внешних данных, а также для поддержки дополнительных индексов в сервисе OpenSearch. Вычислительная мощность измеряется в вычислительных единицах (OCU) OpenSearch, которые также используются в бессерверном Amazon OpenSearch и в функции получения данных Amazon OpenSearch. Количество OCU в точности соответствует количеству виртуальных ЦПУ и памяти, необходимых для запроса или поддержания индексов на основе данных. Появится одна запись для вычислений в OCU-часах с меткой для прямого запроса. Счета за работу OCU выставляются на почасовой основе с поминутной детализацией. Если запросы или действия по индексированию не активны, OCU не потребляются. Затраты на Amazon S3 или каталог данных AWS Glue оплачиваются в аккаунте клиента отдельно. Дополнительные сведения о ценах см. на странице цен на сервис Amazon OpenSearch.