Для скорейшего начала работы воспользуйтесь руководством по началу работы с Amazon Elasticsearch Service, которое входит в техническую документацию. Вы сможете выполнить развертывание и начать использование домена Amazon Elasticsearch Service за считаные минуты. Чтобы получить практический опыт работы с Amazon Elasticsearch Service, создайте решение для анализа журналов с помощью следующего пошагового руководства.

Начните работать с AWS бесплатно

Создать бесплатный аккаунт
или войти в Консоль

Уровень бесплатного пользования AWS включает 750 часов работы инстансов t2.micro.elasticsearch или t2.small.elasticsearch в месяц и 10 ГБ дополнительного хранилища Amazon EBS (магнитные или универсальные тома).


Сведения об уровне бесплатного пользования AWS »

 


Компания Expedia использует Amazon Elasticsearch Service (Amazon ES) для различных критически важных для бизнеса примеров использования: от агрегации журналов до мониторинга приложений и оптимизации ценообразования. На этом семинаре команда Expedia анализирует, как они используют Amazon ES и Kibana для анализа и визуализации журналов запуска Docker, данных AWS CloudTrail и метрик приложений. Команда Expedia делится рекомендациями по созданию архитектуры масштабируемого безопасного решения для анализа журналов с использованием Amazon ES, в которое можно легко добавлять новые источники данных и быстро получать по ним аналитическую информацию. 

Смотреть запись семинара | Загрузить презентацию

На этом семинаре мы на примере журналов веб-сервера Apache покажем, как построить комплексное решение для аналитики. Сначала мы рассмотрим, как настроить кластер Amazon ES и загрузить в него данные с помощью Amazon Kinesis Firehose. Мы дадим рекомендации по выбору типов инстансов, вариантов хранилища, количества сегментов и ротации индекса на основе пропускной способности входящих данных. Затем мы продемонстрируем, как настроить панель управления Kibana и создавать собственные интерфейсные модули панели управления. В завершение будут рассмотрены подходы к созданию спонтанных собственных отчетов.

Смотреть запись семинара | Загрузить презентацию

MirrorWeb предлагает автоматизированные сервисы архивирования веб-сайтов и социальных сетей с возможностью полнотекстового поиска по всему контенту. Правительство Великобритании поручило компании MirrorWeb предоставление поисковых сервисов по архивным данным более чем 4800 веб-сайтов, собранных за последние 20 лет. На этом семинаре MirrorWeb обсуждает технологический стек, созданный с помощью Amazon Elasticsearch Service (Amazon ES) и используемый для поиска по 333 миллионам уникальных документов (объемом более 120 ТБ), которые были проиндексированы за 10 часов. Специалисты компании поделились историей, как они перемещали данные из локальной среды в Amazon S3 с помощью AWS Snowball, а затем обрабатывали эти данные с помощью спотовых инстансов Amazon EC2, что позволило сократить расходы более чем на 90 %. Они также рассказывают о том, как для загрузки данных в Amazon ES использовался сервис AWS Lambda. Наконец, они делятся рекомендациями построения крупномасштабной архитектуры поиска документов.

Смотреть запись семинара | Загрузить презентацию

Приложения генерируют журналы. Инфраструктура генерирует журналы. Даже люди генерируют журналы (хотя обычно мы называем это «медицинскими данными»). Загружая и анализируя журналы, можно получать представление о том, как работают сложные системы, и быстро выявлять ситуации, когда они не работают должным образом. На этом семинаре мы принимаем и анализируем потоки данных журналов с помощью Amazon Kinesis Firehose и Amazon Elasticsearch Service. Для понимания вопросов, обсуждаемых на семинаре, требуется знание основ AWS (Amazon EC2, Amazon S3 и группы безопасности). Требуется также ноутбук с браузером Chrome или Firefox.

Загрузить презентацию »


Анализ журналов – типичный пример работы с большими данными. Анализ журналов веб-сайтов, мобильных устройств, серверов, датчиков и т. п. применяется в самых разных областях деятельности, включая цифровой маркетинг, мониторинг приложений, обнаружение мошенничества, рекламные технологии, игры, а также Интернет вещей. На этом вебинаре Tech Talk мы шаг за шагом пройдем процесс построения комплексного аналитического решения, которое принимает, преобразует и загружает потоковые данные с помощью Amazon Kinesis Firehose, Amazon Kinesis Analytics и AWS Lambda. Обработанные данные будут сохранены в кластере Amazon Elasticsearch Service, а Kibana будет использоваться для визуализации данных в режиме, близком к режиму реального времени.

Цели обучения.

  1. Изучить эталонную архитектуру для построения комплексного решения для анализа журналов
  2. Получить общие сведения об используемых сервисах и их взаимодействии
  3. Изучить рекомендации по внедрению решений для анализа журналов

Смотреть запись | Загрузить презентацию

Озера данных могут состоять из огромного объема неструктурированных данных, что затрудняет поиск по ним и их исследование. С помощью Amazon Elasticsearch Service можно легко индексировать метаданные и содержимое документов озер данных и осуществлять поиск по ним. На этом вебинаре Tech Talk вы узнаете, как использовать Amazon Elasticsearch Service для создания репозитория метаданных для озера данных и индексации содержимого документов, которая позволяет просто находить файлы по содержащемуся в них тексту.

Цели обучения.

  • Изучить возможности поиска и визуализации сервиса Amazon Elasticsearch Service
  • Узнать, как настроить Amazon Kinesis Firehose на получение, преобразование и загрузку метаданных документов в Amazon Elasticsearch Service
  • Изучить рекомендации по созданию репозитория метаданных для озер данных с помощью Amazon Elasticsearch Service

Смотреть запись | Загрузить презентацию

Amazon Elasticsearch Service (Amazon ES) упрощает настройку и работу кластеров Elasticsearch на AWS. Amazon Virtual Private Cloud (Amazon VPC) позволяет запускать ресурсы AWS в определяемой пользователем защищенной виртуальной сети. Amazon ES теперь поддерживает использование адресов VPC, что позволяет создавать частное соединение между VPC и доменами Amazon ES. На этом вебинаре мы рассмотрим, как настроить и сконфигурировать домен Amazon ES и отправить данные журнала из VPC в этот домен. Мы рассмотрим вопросы безопасности, масштабирования и контроля доступа для Amazon ES при использовании VPC.

Цели обучения.

  • Понять, как обеспечивается безопасность Amazon ES
  • Узнать, как использовать конечные точки Amazon VPC с Amazon ES
  • Научиться применять рекомендации по обеспечению безопасности и контролю доступа для доменов Amazon ES

Смотреть запись | Загрузить презентацию