Стоимость выполнения проекта. Расчетная стоимость выполнения проекта составляет 0,57 USD. Расчет произведен с учетом следующих факторов: аккаунт находится на уровне бесплатного пользования AWS, пользователь придерживается рекомендованных настроек, а все ресурсы удаляются в течение часа после завершения проекта. В конкретных случаях вам могут потребоваться другие настройки, что повлечет за собой изменение стоимости. Рассчитать стоимость в соответствии с конкретными требованиями можно с помощью калькулятора AWS Pricing Calculator.
Оценка ежемесячной стоимости использования. Общая стоимость разработки и обслуживания решения для аналитики журналов может отличаться в зависимости от уровня использования и настроек конфигурации. При использовании конфигурации по умолчанию, рекомендованной в данном руководстве, ежемесячная стоимость проекта составит 382,45 USD. Стоимость работы в экспериментальном режиме составляет 0,57 USD в час.
При расчете стоимости в AWS учитывается использование каждого отдельного сервиса. Ежемесячный счет на оплату формируется на основе суммарного использования всех сервисов. На вкладках ниже приводится описание того, какую работу выполняет каждый сервис и как это отражается на вашем счете.
-
Amazon Kinesis Data Firehose
Описание продукта. Amazon Kinesis Data Firehose – полностью управляемый сервис передачи потоковых данных в целевые сервисы, такие как Amazon S3, Amazon Redshift и Amazon ES, в режиме реального времени. Используя Kinesis Data Firehose, не нужно разрабатывать дополнительные приложения и управлять ресурсами. Достаточно настроить процедуры обработки данных таким образом, чтобы они передавали данные в Kinesis Data Firehose, и сервис автоматически будет доставлять данные в указанные целевые сервисы.
Ценообразование. Стоимость зависит от объема загруженных в Amazon Kinesis Data Firehose данных, который определяется как количество отправленных в сервис записей данных, при этом размер каждой записи округляется в большую сторону до ближайшего значения, кратного 5 КБ. Например, если размер каждой записи составляет 42 КБ, то размер импортированной записи в Amazon Kinesis Data Firehose будет учитываться как 45 КБ. Для региона Восток США стоимость Amazon Kinesis Data Firehose составляет 0,029 USD за 1 ГБ загруженных данных. Подробную информацию о ценах см. на странице Цены на Amazon Kinesis Data Firehose.
Пример расчета стоимости. В данном проекте будут созданы два отдельных потока доставки данных Amazon Kinesis Data Firehose. Один поток будет получать данные из менеджера журнала доступа Apache, второй – выходные данные приложения Amazon Kinesis Data Analytics.
Предположим, что в первый поток Kinesis Data Firehose из менеджера журнала поступает 500 записей в секунду, а размер каждой записи не превышает 5 КБ (стандартные записи в журналах доступа Apache). При оценке приблизительного количества данных, поступающих в поток доставки Firehose за месяц, учитываются указанные ниже факторы.
- Стоимость сервиса в регионе Восток США составляет 0,029 USD за 1 ГБ полученных данных.
- Размер записи округляется вверх до ближайшего значения, кратного 5 КБ, т. е. до 5 КБ.
- Получение данных (ГБ/с) = (500 записей/с х 5 КБ/запись)/1 048 576 КБ/ГБ = 0,002384 ГБ/с.
- Получение данных (ГБ/месяц) = 30 дней/месяц х 86 400 с/день х 0,002384 ГБ/с = 6179,81 ГБ/месяц.
- Стоимость в месяц: 6179,81 х 0,029 USD/ГБ = 179,21 USD.
- Стоимость в час: в рамках данного проекта допустим, что данные импортируются в течение часа. Стоимость данного проекта составит приблизительно 0,27 USD.
Во второй поток доставки Firehose записи поступают гораздо реже. Приложение Amazon Kinesis Analytics выдает всего несколько строк данных в минуту, так что стоимость этого потока доставки будет пропорционально меньше. Если в поток поступают пять записей в минуту и размер каждой записи не превышает 5 КБ, стоимость потока составит 0,00005 USD за час использования в рамках проекта.
-
Amazon Kinesis Data Analytics
Описание продукта. Сервис Amazon Kinesis Data Analytics обеспечивает простую обработку и анализ потоковых данных в режиме реального времени с помощью языка SQL стандарта ANSI. Сервис позволяет считывать данные из Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose и создавать запросы потоковой обработки для фильтрации, преобразования и объединения данных по мере их поступления. Amazon Kinesis Data Analytics автоматически распознает стандартные форматы данных, анализирует данные и предлагает схему их обработки, которую можно редактировать с помощью интерактивного редактора схем. Сервис предоставляет интерактивный редактор SQL и шаблоны потоковой обработки, поэтому создание сложных запросов потоковой обработки данных займет всего несколько минут. Amazon Kinesis Data Analytics обеспечивает непрерывную работу запросов и записывает результаты обработки в сервисы Amazon Kinesis Data Streams или Amazon Kinesis Data Firehose, которые могут быть назначены для получения исходящих данных и последующей передачи этих данных в сервисы Amazon S3, Amazon Redshift и Amazon ES. Amazon Kinesis Data Analytics обеспечивает автоматическое выделение, развертывание и масштабирование ресурсов, которые требуются для выполнения запросов.
Ценообразование. При работе с Amazon Kinesis Data Analytics вы платите только за то, что реально используете. Оплата начисляется на почасовой основе, исходя из среднего числа единиц обработки Kinesis (KPU), использованных при работе приложения потоковой обработки.
KPU представляет собой единицу ресурса потоковой обработки, которая включает 4 ГБ оперативной памяти, 1 виртуальный ЦПУ и соответствующие сетевые ресурсы. Поскольку у запросов различного уровня сложности различные требования к ресурсам памяти и вычислительным ресурсам, Amazon Kinesis Analytics обеспечивает автоматическое и эластичное масштабирование числа KPU, которые требуются для выполнения анализа. При использовании Amazon Kinesis Data Analytics не требуется выделять ресурсы, вносить авансовые или минимальные платежи.
Пример расчета стоимости. Допустим, что система запущена в регионе Восток США и работает в течение 1 часа. В проекте используется базовый SQL-запрос, который потребляет не больше одной KPU. Если стоимость Amazon Kinesis Data Analytics в регионе Восток США составляет 0,11 USD за KPU-час и проект работает в течение 1 часа, общая стоимость использования Amazon Kinesis Analytics составит 0,11 USD.
-
Amazon Elasticsearch Service
Описание продукта. Amazon ES – это популярный поисковый и аналитический движок с открытым исходным кодом для работы с большими данными, например для анализа журналов или навигации. Сервис Amazon ES управляет ресурсами, масштабированием, обновлениями безопасности и администрированием кластеров Elasticsearch, предоставляя вам прямой доступ к API Elasticsearch.
Ценообразование. При работе с Amazon ES вы платите только за то, что реально используете. Минимальные платежи и авансовые обязательства отсутствуют. Вы оплачиваете время работы инстансов Amazon Elasticsearch в часах, объем хранилища Amazon Elastic Block Store (Amazon EBS) (если выбрана эта опция) и объем переданных данных по стандартным тарифам. Подробнее рассказано на странице Цены на Amazon Elasticsearch Service.
Пример расчета стоимости. В данном проекте для типа инстанс m3.medium совокупная стоимость Amazon ES будет рассчитываться следующим образом: стоимость Elasticsearch 0,094 USD в час х 1 час = 0,094 USD в районе Восток США.
-
Amazon S3
Описание продукта. Amazon S3 – это безопасное и надежное облачное хранилище с большими возможностями масштабирования для объектов, используемых в приложениях пользователя. В нем можно хранить исходный код, файлы журналов, изображения, видео и другие артефакты, создаваемые при развертывании приложения. Простой веб-интерфейс упрощает использование объектного хранилища Amazon S3 и обеспечивает передачу данных на хранение и извлечение файлов из любой точки сети. Это означает, что ваш веб-сайт будет точно доступен посетителям.
Ценообразование. Цены на сервис Amazon S3 основаны на пяти компонентах: тип хранилища S3, который вы используете, расположение, в котором вы храните контент веб-сайта (например, Восток США или Азия и Тихий океан (Сидней)), количество данных, которые вы храните, количество запросов, создаваемых вами или вашими пользователями для сохранения нового или получения уже имеющегося контента, а также объем данных, передаваемых из сервиса S3 вам или вашим пользователям. Поскольку доставлять контент в проекте предполагается через Amazon CloudFront, стоимость S3 будет основана на объеме хранимых данных. Подробнее рассказано на странице цен на Amazon S3.
Пример расчета стоимости. При использовании стандартного хранилища в регионе Восток США для хранения 5 ГБ контента стоимость сервиса составит 0,115 USD в месяц. Если аккаунт был создан в течение последних 12 месяцев и уровень бесплатного пользования AWS еще доступен, стоимость сервиса составит 0,00 USD в месяц. Допустим, в рамках данного проекта будет создано 5 ГБ данных. Стоимость хранения записей в Amazon S3 в течение 1 часа составит 0,000171 USD.
-
Amazon EC2
Описание продукта. Amazon EC2 предоставляет виртуальные серверы приложений – инстансы – для развертывания интернет-приложений на выбранных платформах. EC2 позволяет без труда настраивать и масштабировать объем вычислительных ресурсов в соответствии с текущими задачами и потребностями. Сервис интегрирован с проверенной временем вычислительной средой Amazon, что позволяет использовать весь пакет сервисов AWS.
Ценообразование. Тарифы Amazon EC2 основаны на четырех компонентах: выбранный тип инстанса (EC2 предлагает более 40 типов инстансов с разными объемами вычислительных ресурсов, памяти, хранилищ и т. д.); регион, в котором развернут инстанс; ПО на инстансе и выбранная ценовая модель (инстансы по требованию, зарезервированные ресурсы или спотовые инстансы и т. д.). Подробнее см. на странице Цены на Amazon EC2.
Пример расчета стоимости. Допустим, все файлы журналов расположены на одном инстансе Linux t2.micro EC2 в регионе Восток США. Если используется ценовая модель, предусматривающая предоставление ресурсов по требованию, плата за виртуальную машину составит 0,0116 USD в час. Для этого руководства по внедрению предположительная стоимость EC2 составит 0,0116 USD (при условии, что инстанс создания логов будет работать 1 час).
