Цены на Аналитику данных Amazon Kinesis

Аналитика данных Amazon Kinesis – это наиболее простой способ преобразования и анализа потоковых данных в режиме реального времени с помощью Apache Flink, платформы с открытым исходным кодом и ядра для обработки потоков данных. Amazon Kinesis Data Analytics упрощает создание рабочих нагрузок Apache Flink и управление ими, а также позволяет с легкостью интегрировать приложения в другие сервисы AWS.

При работе с Amazon Kinesis Data Analytics вы платите только за то, что реально используете. Вам не нужно предоставлять ресурсы и совершать авансовые платежи. Оплата начисляется на почасовой основе, исходя из числа блоков обработки Kinesis (KPU), использованных при работе приложения. Один KPU включает в себя 1 вычислительный процессор vCPU и 4 ГБ памяти.

При оркестрации Apache Flink взимается плата за дополнительную единицу KPU на каждое приложение. При использовании приложений также взимается плата за запущенное хранилище и за надежные резервные копии. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Amazon Kinesis Data Analytics и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий предоставляется в качестве дополнительной возможности и позволяет выполнять для приложений восстановление на момент времени. Данная возможность оплачивается по количеству гигабайтов в месяц.

В режиме потоковой передачи Amazon Kinesis Data Analytics автоматически масштабирует количество KPU, необходимых приложению для обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности. Вы можете обеспечить приложение необходимым количеством процессоров.

В интерактивном режиме начисляется оплата за два дополнительных KPU на студию. Один из KPU используется для координации приложения Apache Flink, другой – для бессерверной интерактивной среды разработки. Плата также будет взиматься за запуск хранилища приложений для возможностей обработки с фиксацией состояния. Оплата за хранилище запущенного приложения начисляется за количество ГБ в месяц.

При разработке в блокноте Studio вы не сможете создавать надежные резервные копии приложений. Тем не менее резервные копии возможно сделать при развертывании приложений в блокноте Studio, из интерактивного режима в потоковый.

Рекомендуем испытать приложение с рабочими нагрузками, чтобы получить точное представление о количестве KPU, необходимом для его работы. Количество используемых KPU может существенно меняться в зависимости от объема данных, скорости их поступления, сложности кода, интеграции и других факторов. Это особенно актуально при использовании среды выполнения Apache Flink в Amazon Kinesis Data Analytics. Например, в ходе внутренних испытаний мы установили, что пропускная способность для простых приложений без фиксации состояния составляет сотни МБ в секунду на KPU, а пропускная способность сложных приложений с интенсивным применением алгоритмов машинного обучения (ML) – менее 1 МБ в секунду на KPU. Учитывая эти оговорки, до тестирования приложения рекомендуется рассчитывать на пропускную способность 1 МБ в секунду на KPU.

Вы используете сервис Amazon Kinesis Data Analytics Studio для непрерывной фильтрации потоковых данных, захваченных Kinesis Data Stream, и сохраняете только интересующие его записи. Вам требуется просматривать и визуализировать записи в режиме реального времени, а также легко писать запросы и программы на SQL и Python. Вам не нужно создавать надежные резервные копии состояний. Вы предоставляете 4 KPU для блокнота Studio исходя из пропускной способности входящего потока. Ежемесячная плата за использование Kinesis Data Analytics рассчитывается следующим образом.

Стоимость за месяц

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки. Это простое приложение использует для обработки входящего потока данных 4 KPU. За каждое приложение блокнота Studio (например, в интерактивном режиме) взимается плата за два дополнительных KPU. Стоимость KPU за месяц = 30 дней * 24 часа * ((4 KPU + 2 дополнительных KPU) * 0,11 USD в час) = 475,20 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,10 USD за ГБ-месяц.

Стоимость хранилища запущенного приложения за месяц = 30 дней * 24 часа * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 20,00 USD 

Общая стоимость = 475,20 USD + 20,00 USD = 495,20 USD

 

Вы используете Amazon Kinesis Data Analytics Studio для создания окна на основе потоковых данных, захваченных темой в кластере Amazon Managed Streaming for Apache Kafka (Amazon MSK). Вы используете блокнот Studio с 4 KPU в течение двух дней по восемь часов в каждый, чтобы разработать и протестировать запросы. После разработки приложение развертывается как потоковое с 12 KPU. По завершении процесса развертывания вы закрываете блокнот Studio. Потоковое приложение может использовать состояние приложения, и вы каждый день создаете надежные резервные копии состояния.

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки.

Стоимость за месяц

Разработка и тестирование запроса в Kinesis Data Analytics Studio.
Стоимость KPU = 2 дня * 8 часов * (4 KPU + 2 дополнительных KPU для блокнота Studio) * 0,11 USD в час = 10,56 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,10 USD за ГБ-месяц.

Стоимость хранилища запущенного приложения = 2 дня * 8 часов * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 0,44 USD

Разработка потокового приложения для непрерывной работы и резервного копирования.

Стоимость KPU = 28 дней * 24 часа * (2 KPU + 1 дополнительный KPU для потокового приложения) * 0,11 USD в час = 221,76 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,121 USD за ГБ-месяц.

Стоимость хранилища запущенного приложения = 28 дней * 24 часа * 2 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 9,33 USD

Стоимость надежного хранилища приложения = 28 * (1 МБ / резервная копия * 1 ГБ / 1000 МБ) * 0,023 USD/ГБ‑месяц = 0,01 USD (с округлением до цента)

Общая стоимость = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD

Вы используете в сервисе Kinesis Data Analytics приложение Apache Flink для непрерывного преобразования и доставки данных журналов, собранных потоком Kinesis Data Stream и помещенных в Amazon Simple Storage Service (Amazon S3). Данные журналов преобразуются с помощью нескольких операций, включая применение схемы к различным событиям журналов, разбиение данных по типам событий, сортировку данных по временным отметкам и буферизацию данных в течение одного часа перед доставкой. В приложении может выполняться множество шагов преобразования, но ни один из них не требует интенсивного использования вычислительных ресурсов. Этот поток загружает данные со скоростью 2000 записей в секунду в течение 12 часов в сутки, а в оставшиеся 12 часов скорость возрастает до 8000 записей в секунду. Вы не создаете надежных резервных копий. Ежемесячная плата за использование Kinesis Data Analytics рассчитывается следующим образом.

Стоимость за месяц

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU. Kinesis Data Analytics выделяет 50 ГБ хранилища для запущенного приложения на единицу KPU. Хранилище оплачивается по цене 0,10 USD за гигабайт в месяц.

Повышенная рабочая нагрузка. На протяжении 12 часов повышенной рабочей нагрузки приложение Kinesis Data Analytics обрабатывает 8000 записей в секунду и автоматически масштабируется до 8 KPU. После этого периода через шесть часов работы с пониженной пропускной способностью приложение Kinesis Data Analytics сокращает количество выделенных ресурсов. Приложение масштабируется до 8 KPU в совокупности 18 часов в сутки.

30 дней в месяц * 18 часов в сутки = 540 часов в месяц

Стоимость KPU за месяц = 540 часов в месяц * 8 KPU * 0,11 USD в час = 475,20 USD

Стоимость хранилища запущенного приложения за месяц = 540 часов в месяц * 8 KPU * 50 ГБ/KPU * 0,10 USD/ГБ‑месяц = 30,00 USD

Стоимость KPU и хранилища за месяц = 475,20 USD + 30,00 USD = 505,20 USD

Пониженная рабочая нагрузка. В течение периода пониженной рабочей нагрузки в оставшиеся шесть часов сервис Kinesis Data Analytics обрабатывает 2000 записей в секунду и автоматически масштабируется до 2 KPU

30 дней в месяц * 6 часов в сутки = 180 часов в месяц

Стоимость KPU за месяц = 180 часов в месяц * 2 KPU * 0,11 USD в час = 39,60 USD

Стоимость хранилища запущенного приложения за месяц = 180 часов в месяц * 2 KPU * 50 ГБ * 0,10 USD/ГБ‑месяц = 2,50 USD

Стоимость KPU и хранилища за месяц = 39,60 USD + 2,50 USD = 42,10 USD

Каждое приложение Apache Flink использует по дополнительной единице KPU.

Стоимость за месяц = 30 х 24 х 1 KPU х 0,11 USD в час = 79,20 USD

Общая стоимость = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD

Вы используете Kinesis Data Analytics для SQL‑приложения, чтобы подсчитать количество товаров, проданных в интернет‑магазине с использованием онлайн‑транзакций, захватываемых в потоке Kinesis. Подсчет производится методом «скользящего окна» с интервалом в 1 минуту. Обычно такой поток импортирует данные со скоростью 1000 записей в секунду, но при этом раз в день во время рекламных кампаний имеют место пиковые нагрузки, при которых скорость импорта составляет 6000 записей в секунду в течение часа. Ежемесячная плата за использование Kinesis Data Analytics рассчитывается следующим образом.

Стоимость за месяц

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки. Входящий поток данных Kinesis передает данные со скоростью 1000 записей в секунду. Раз в день на протяжении одного часа скорость возрастает до 6000 записей в секунду.

При устойчивом состоянии, которое длится 23–24 часа в день, запросы скользящего окна используют для обработки рабочей нагрузки 1 KPU.

30 дней в месяц * 23 часа в сутки = 690 часов в месяц 
Устойчивое состояние = 690 часов в месяц * (1 KPU * 0,11 USD в час) = 75,90 USD

При пиковом состоянии, которое длится 1 час в сутки ежедневно, запросы скользящего окна используют от 1 до 2 KPU. В течение этого одного часа в сутки будет начисляться плата за 2 KPU.

30 дней в месяц * 1 час в сутки = 30 часов в месяц 
Пиковое состояние = 30 часов в месяц * (2 KPU * 0,11 USD в час) = 6,60 USD

Общая стоимость = 75,90 USD + 6,60 USD = 82,50 USD

Примечание. Мы оставляем за собой право взимать плату по стандартному тарифу AWS за передачу данных в приложения Amazon Kinesis Data Analytics и из них.