Аналитика журналов – типичный пример работы с большими данными. Анализ журналов веб‑сайтов, мобильных устройств, серверов, датчиков и т. п. применяется в самых разных областях деятельности, от цифрового маркетинга, мониторинга приложений и систем выявления мошенничества до рекламных технологий, игр и систем Интернета вещей. Этот проект помогает разработать на основе Amazon Web Services комплексное аналитическое решение для журналов, которое собирает, получает, обрабатывает и загружает пакетные и потоковые данные и предоставляет обработанные данные пользователям через привычные аналитические системы в режиме, близком к реальному времени. Предлагаемое решение отличается высокой надежностью и экономичностью, автоматически масштабируется для обработки необходимого объема данных и практически не требует администрирования.
Задачи, которые вы выполните в рамках проекта
Настройка агента Kinesis для сбора ведомостей источников данных и их непрерывной передачи в Amazon Kinesis Data Firehose.
Создание комплексного потока доставки данных с помощью Kinesis Data Firehose. Поток доставки данных передает данные агентов в целевые сервисы, такие как Amazon Kinesis Data Analytics, Amazon Elasticsearch Service и Amazon S3.
Обработка входящих данных журналов с помощью SQL-запросов в Amazon Kinesis Data Analytics.
Отправка обработанных данных из Kinesis Data Analytics в Amazon Elasticsearch Service для индексации.
Анализ и визуализация обработанных данных с помощью Kibana.
Что потребуется для работы:
Аккаунт AWS. Для выделения ресурсов, на которых будет размещен веб-сайт, потребуется аккаунт AWS. Регистрация в AWS.
Опыт работы с ИТ-системами. Для выполнения данного проекта потребуются базовые знания о веб-технологиях и SQL.
Опыт работы с AWS. Для выполнения этого проекта предварительный опыт работы с AWS не требуется.
Оценка стоимости
Стоимость выполнения проекта. Расчетная стоимость выполнения проекта составляет 0,57 USD. Расчет произведен с учетом следующих факторов: аккаунт находится на уровне бесплатного пользования AWS, пользователь придерживается рекомендованных настроек, а все ресурсы удаляются в течение часа после завершения проекта. В конкретных случаях вам могут потребоваться другие настройки, что повлечет за собой изменение стоимости. Рассчитать стоимость в соответствии с конкретными требованиями можно с помощью Калькулятора цен.
Оценка ежемесячной стоимости использования. Общая стоимость разработки и обслуживания решения для аналитики журналов может отличаться в зависимости от уровня использования и настроек конфигурации. При использовании конфигурации по умолчанию, рекомендованной в данном руководстве, ежемесячная стоимость данного проекта составит 382,45 USD. Чтобы узнать, из чего будут складываться расходы на использование связанных сервисов, см. раздел Используемые сервисы и цены.
Подробнее о решениях для потоковой передачи данных на Amazon Web Services (AWS).
Дополнительную информацию об Amazon Kinesis см. в руководствах для разработчиков и справочной документации по API.
Требуется больше ресурсов, чтобы начать работу с AWS? Дополнительные сведения приведены в Центре ресурсов для начала работы.