Elasticsearch – это популярный поисковый и аналитический движок с открытым исходным кодом для работы с большими данными, например для анализа логов или навигации. Сервис Amazon Elasticsearch Service вместо вас управляет ресурсами, масштабированием, обновлениями безопасности и администрированием кластеров Elasticsearch, предоставляя вам непосредственный доступ к API Elasticsearch.
Начните работать с AWS бесплатно
Создать бесплатный аккаунтили войти в Консоль
Уровень бесплатного пользования AWS включает 750 часов работы инстансов t2.micro.elasticsearch или t2.small.easticsearch в месяц и 10 ГБ дополнительного хранилища Amazon EBS (магнитные или универсальные тома).
Воспользовавшись мастером создания домена, вы создадите домены Amazon Elasticsearch всего за несколько щелчков в Консоли. Каждый из доменов представляет собой кластер Elasticsearch в облаке, вычислительные ресурсы и емкость хранилища которого определяет пользователь. Создавать домены также можно с помощью вызова API Amazon Elasticsearch Service через интерфейс командной строки AWS или AWS SDK. При создании нового домена можно указать число и тип инстансов, а также параметры хранилища. Вы можете в любой момент изменить или удалить существующие домены.
Для хранения индексов Elasticsearch можно выбрать локальное хранилище на инстансах или тома Amazon EBS. Вы можете указать для каждого домена размер тома Amazon EBS и тип тома – магнитный, универсальный или с выделенным объемом IOPS. При необходимости можно изменить параметры хранилища уже после создания домена.
Amazon Elasticsearch Service позволяет настроить политики доступа для конечных точек домена с помощью сервиса AWS Identity and Access Management (IAM). Политики IAM обеспечивают безопасный доступ к домену со стороны приложений, выполняющихся на платформе AWS или вне ее. Вы можете настроить политики IAM для точного контроля доступа к API управления ресурсами при выполнении таких операций, как создание и масштабирование доменов, и к API передачи данных при выполнении загрузки документов или поисковых запросов. Кроме того, можно осуществлять мониторинг и аудит своего домена с помощью веб-сервиса AWS CloudTrail, который регистрирует вызовы API AWS в вашем аккаунте и формирует для вас соответствующие логи. История вызовов API AWS в AWS CloudTrail позволяет провести анализ безопасности и аудит соответствия, а также отследить изменения ресурсов.
Amazon Elasticsearch Service поддерживает интеграцию с Logstash, конвейером данных с открытым исходным кодом для обработки логов и других данных событий. Вы можете назначить домен Amazon Elasticsearch в качестве серверного хранилища всех логов, поступающих через ваш конвейер Logstash, для простого сбора структурированных и неструктурированных данных из различных источников. Вы также можете собирать данные в домен Amazon Elasticsearch с помощью Amazon Kinesis Firehose, AWS IoT или Amazon CloudWatch Logs. Подробнее см. на странице сбор данных сервисом Amazon Elasticsearch Service.
Amazon Elasticsearch Service включает встроенную поддержку Kibana, платформы аналитики и визуализации с открытым исходным кодом, служащей для получения более наглядного представления данных. Kibana автоматически разворачивается вместе с доменом Amazon Elasticsearch Service.
Amazon Elasticsearch Service предоставляет непосредственный доступ к API Elasticsearch для загрузки и анализа данных, выполнения запросов и управления индексами.
Вы можете добавлять или удалять инстансы и легко вносить изменения в конфигурацию томов Amazon EBS, чтобы ваши ресурсы соответствовали растущим объемам данных. С помощью нескольких строк кода можно включить мониторинг состояния домена на основании метрик Amazon CloudWatch и последующий вызов API Amazon Elasticsearch Service для увеличения или уменьшения размеров домена на основании заданных пороговых значений. Сервис осуществит это масштабирование, не прерывая работы.
Вы можете обеспечить высокую доступность доменов Amazon Elasticsearch, включив параметр «Zone Awareness» при создании домена либо при изменении существующего домена. При включенном параметре «Zone Awareness» сервис Amazon Elasticsearch Service распределит инстансы домена по двум различным зонам доступности. Как следствие, при включении в Elasticsearch репликации инстансы будут автоматически распределяться так, чтобы обеспечить полную репликацию в этих зонах доступности.
Amazon Elasticsearch Service поставляется с комплектом предустановленных модулей, разработанных сообществом Elasticsearch, включая Kuromoji, ICU, Phonetic Analysis, Smart Chinese Analysis, Stempel Polish Analysis, Ingest Processor Attachment, Ingest User Agent Processor и Mapper Murmur3. Развертывание плагинов и управление ими выполняется автоматически.
Путем автоматического или ручного создания снимков состояния можно повысить сохранность данных домена Amazon Elasticsearch. Снимки состояния можно использовать для восстановления домена или создания нового домена с уже загруженными данными. Снимки состояния хранятся в безопасном, надежном и высокомасштабируемом хранилище объектов Amazon S3. По умолчанию Amazon Elasticsearch Service ежедневно создает автоматические снимки состояния каждого домена. Плата за создание ежедневных автоматических снимков состояния не взимается. Вы также можете создать дополнительные снимки состояния вручную, воспользовавшись соответствующими API Elasticsearch. Созданные вручную снимки состояния сохраняются в Amazon S3, что подразумевает оплату по стандартным тарифам хранилища.
Amazon Elasticsearch Service предоставляет посредством Amazon CloudWatch несколько метрик производительности с такими параметрами, как число инстансов, работоспособность домена, доступные для поиска документы, метрики Amazon EBS (если используется), использование ресурсов ЦПУ, памяти и дискового пространства узлами данных и ведущими узлами. На основании этих метрик можно осуществлять мониторинг работоспособности домена и выполнять необходимые действия, например масштабирование.
При работе с Amazon Elasticsearch Service вы платите только за фактически используемые вычислительные ресурсы и ресурсы хранилища. Минимальные или авансовые платежи отсутствуют. Для выделения, мониторинга и эксплуатации инфраструктуры вам не потребуется помощь специалистов по Elasticsearch. Таким образом, общую стоимость использования Elasticsearch удастся сократить даже при больших объемах работы.