Начать работу с проектом

8 шагов  |  60 минут

aws-project_log-analytics
architectural-diagram
arch-diagram_build-log-analytics

Анализ журналов – типичный пример работы с большими данными. Анализ журналов веб-сайтов, мобильных устройств, серверов, датчиков и т. п. применяется в самых разных областях деятельности, от цифрового маркетинга, мониторинга приложений и выявления мошенничества до рекламных и игровых технологий, а также «Интернета вещей». Данный проект помогает разработать на основе Amazon Web Services комплексное аналитическое решение для журналов, которое собирает, получает, обрабатывает и загружает пакетные и потоковые данные и предоставляет обработанные данные пользователям через привычные аналитические системы в режиме, близком к реальному времени. Предлагаемое решение отличается высокой надежностью и экономичностью, автоматически масштабируется для обработки необходимого объема данных и практически не требует администрирования.

В рамках проекта выполняются следующие задачи.

Настройка агента Kinesis для сбора данных источников данных и их непрерывной передачи в Amazon Kinesis Firehose.

Создание комплексного потока доставки данных с помощью Kinesis Firehose. Поток доставки данных передает данные агентов в целевые сервисы, такие как Amazon Kinesis Analytics, Amazon Redshift, Amazon Elasticsearch Service и Amazon S3.

Обработка входящих данных журналов с помощью SQL-запросов в Amazon Kinesis Analytics.

Загрузка обработанных данных из Kinesis Analytics в Amazon Elasticsearch Service для индексации.

Анализ и визуализация обработанных данных с помощью Kibana.

Что потребуется для начала работы.

Аккаунт AWS. Для выделения ресурсов, на которых будет размещен веб-сайт, потребуется аккаунт AWS. Регистрация в AWS.

Опыт работы с ИТ-системами. Для выполнения данного проекта потребуются базовые знания о веб-технологиях и SQL.

Опыт работы с AWS. Для выполнения этого проекта предварительный опыт работы с AWS не требуется.

Работающий сервер для создания журналов приложений.

 

Оценка стоимости.

Стоимость выполнения данного проекта. Расчетная стоимость выполнения проекта составляет 0,51 USD. Расчет произведен с учетом следующих факторов: аккаунт находится на уровне бесплатного пользования AWS, пользователь придерживается рекомендованных настроек, а все ресурсы удаляются в течение 1 часа после завершения проекта. В конкретном случае пользователю могут потребоваться другие настройки, что повлечет за собой изменение стоимости. Рассчитать стоимость в соответствии с конкретными требованиями можно с помощью Калькулятора.

Оценка ежемесячной стоимости использования. Общая стоимость разработки и обслуживания решения для аналитики журналов может отличаться в зависимости от уровня использования и настроек конфигурации. При использовании конфигурации по умолчанию, рекомендованной в данном руководстве, ежемесячная стоимость данного проекта составит 367,74 USD. Чтобы узнать, из чего будут складываться расходы на использование связанных сервисов, см. раздел Используемые сервисы и цены.

Начать работу с проектом

Подробнее о решениях для потоковой передачи данных на Amazon Web Services (AWS). 

Дополнительную информацию об Amazon Kinesis см. в руководствах для разработчиков и справочной документации по API.

Требуется больше ресурсов, чтобы начать работу с AWS? Подробнее о них см. на странице центра ресурсов для начала работы.