Расчет стоимости на Управляемый сервис Amazon для Apache Flink

С помощью Управляемого сервиса Amazon для Apache Flink можно преобразовывать и анализировать потоковые данные в режиме реального времени, используя Apache Flink, платформу и механизм с открытым исходным кодом для обработки потоков данных. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок и управление ими, а также позволяет с еще большей легкостью интегрировать приложения в другие сервисы AWS.

Вы платите только за то, что используете в данном сервисе. Вам не нужно предоставлять ресурсы и совершать авансовые платежи. Оплата начисляется на почасовой основе, исходя из числа блоков обработки Kinesis (KPU), использованных при работе приложений. Один KPU включает в себя 1 вычислительный процессор vCPU и 4 ГБ памяти.

При оркестрации приложений Apache Flink взимается плата за дополнительную единицу KPU на каждое приложение. При использовании приложений также взимается плата за запущенное хранилище и за надежные резервные копии. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Управляемом сервисе Amazon для Apache Flink и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий предоставляется в качестве дополнительной возможности и позволяет выполнять для приложений восстановление на момент времени. Данная возможность оплачивается по количеству гигабайтов в месяц.

В режиме потоковой передачи Управляемый сервис Amazon для Apache Flink автоматически масштабирует количество KPU, необходимых приложению обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности. Вы можете обеспечить приложение необходимым количеством KPU.

В интерактивном режиме начисляется оплата за два дополнительных KPU на приложение в Студии. Один из KPU используется для координации приложения Apache Flink, другой – для бессерверной интерактивной среды разработки. Плата также будет взиматься за запуск хранилища приложений для возможностей обработки с фиксацией состояния. Оплата за хранилище запущенного приложения начисляется за количество ГБ в месяц.

При разработке в блокноте Studio вы не сможете создавать надежные резервные копии приложений. Тем не менее резервные копии возможно сделать при развертывании приложений в блокноте Студии, из интерактивного режима в потоковый.

Рекомендуем испытать приложение с рабочими нагрузками, чтобы получить точное представление о количестве KPU, необходимом для его работы. Количество используемых KPU может существенно меняться в зависимости от объема данных, скорости их поступления, сложности кода, интеграции и других факторов. Это особенно актуально при использовании среды выполнения Apache Flink в Управляемом сервисе Amazon для Apache Flink. Например, в ходе внутренних испытаний мы установили, что пропускная способность для простых приложений без фиксации состояния составляет сотни МБ в секунду на KPU, а пропускная способность сложных приложений с интенсивным применением алгоритмов машинного обучения (ML) – менее 1 МБ в секунду на KPU. Учитывая эти оговорки, ожидаемая пропускная способность перед тестированием приложения равняется 1 МБ в секунду на KPU.

Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы непрерывно фильтровать потоковые данные, захваченные Amazon Kinesis Data Streams, и сохранять только искомые записи. Вам нужно просматривать и визуализировать записи в режиме реального времени, а также легко писать запросы и программы на SQL и Python. Вам не нужно создавать надежные резервные копии состояний. Вы предоставляете 4 KPU для блокнота Студии исходя из пропускной способности входящего потока. Ваша ежемесячная плата за Управляемый сервис Amazon для Apache будет рассчитываться следующим образом:

Стоимость за месяц

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки. Это простое приложение использует для обработки входящего потока данных 4 KPU. За каждое приложение блокнота Студии (например, в интерактивном режиме) взимается плата за два дополнительных KPU. Стоимость KPU за месяц = 30 дней * 24 часа * ([4 KPU + 2 дополнительных KPU] * 0,11 USD в час) = 475,20 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе Восток США-1 это хранилище оплачивается по тарифу 0,10 USD за ГБ в месяц.

Стоимость хранилища запущенного приложения за месяц = 30 дней * 24 часа * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 20,00 USD 

Общая стоимость = 475,20 USD + 20,00 USD = 495,20 USD

 

Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы создать скользящее окно на основе потоковых данных, захваченных темой в кластере Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Вы используете блокнот Студии с 4 KPU по восемь часов в течение двух дней, чтобы разработать и протестировать запросы. После разработки приложение развертывается как потоковое с 12 KPU. По завершении процесса развертывания вы закрываете блокнот Студии. Потоковое приложение может использовать состояние приложения, и вы каждый день создаете надежные резервные копии состояния.

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки.

Стоимость за месяц

Разработка и тестирование запроса в Управляемом сервисе Amazon для Студии Apache Flink:
Стоимость KPU = 2 дня * 8 часов * (4 KPU + 2 дополнительных KPU для блокнота Студии) * 0,11 USD в час = 10,56 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,10 USD за ГБ-месяц.

Стоимость хранилища запущенного приложения = 2 дня * 8 часов * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 0,44 USD

Разработка потокового приложения для непрерывной работы и резервного копирования.

Стоимость KPU = 28 дней * 24 часа * (2 KPU + 1 дополнительный KPU для потокового приложения) * 0,11 USD в час = 221,76 USD

Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,121 USD за ГБ-месяц.

Стоимость хранилища запущенного приложения = 28 дней * 24 часа * 2 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 9,33 USD

Стоимость надежного хранилища приложения = 28 * (1 МБ / резервная копия * 1 ГБ / 1000 МБ) * 0,023 USD/ГБ‑месяц = 0,01 USD (с округлением до цента)

Общая стоимость = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD

В Управляемом сервисе Amazon для Apache Flink вы используете приложение для непрерывного преобразования и доставки данных журналов, собранных потоком Kinesis Data Stream и помещенных в Простой сервис хранения данных Amazon (Amazon S3). Данные журналов преобразуются с помощью нескольких операций, включая применение схемы к различным событиям журналов, разбиение данных по типам событий, их сортировку по временным отметкам и буферизацию в течение одного часа перед доставкой. В приложении может выполняться множество шагов преобразования, но ни один из них не требует интенсивного использования вычислительных ресурсов. Этот поток загружает данные со скоростью 2000 записей в секунду в течение 12 часов в сутки, а в оставшиеся 12 часов скорость возрастает до 8000 записей в секунду. Вы не создаете надежных резервных копий. Ежемесячная плата за Управляемый сервис Amazon для Apache Flink будет рассчитываться следующим образом:

Стоимость за месяц

Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU. Управляемый сервис Amazon для Apache Flink распределяет 50 ГБ хранилища запущенных приложений на один KPU и взимает 0,1 USD/ГБ в месяц.

Повышенная рабочая нагрузка. На протяжении 12 часов повышенной рабочей нагрузки Управляемый сервис Amazon для приложения Apache Flink обрабатывает 8000 записей в секунду и автоматически масштабируется до 8 KPU. После этого периода через 6 часов работы с пониженной пропускной способностью Управляемый сервис Amazon для приложения Apache Flink сокращает количество выделенных ресурсов. Приложение масштабируется до 8 KPU в совокупности 18 часов в сутки.

30 дней в месяц * 18 часов в сутки = 540 часов в месяц

Стоимость KPU за месяц = 540 часов в месяц * 8 KPU * 0,11 USD в час = 475,20 USD

Стоимость хранилища запущенного приложения за месяц = 540 часов в месяц * 8 KPU * 50 ГБ/KPU * 0,10 USD/ГБ‑месяц = 30,00 USD

Стоимость KPU и хранилища за месяц = 475,20 USD + 30,00 USD = 505,20 USD

Пониженная рабочая нагрузка. В течение периода пониженной рабочей нагрузки в оставшиеся шесть часов Управляемый сервис Amazon для приложения Apache Flink обрабатывает 2000 записей в секунду и автоматически масштабируется до 2 KPU.

30 дней в месяц * 6 часов в сутки = 180 часов в месяц

Стоимость KPU за месяц = 180 часов в месяц * 2 KPU * 0,11 USD в час = 39,60 USD

Стоимость хранилища запущенного приложения за месяц = 180 часов в месяц * 2 KPU * 50 ГБ * 0,10 USD/ГБ‑месяц = 2,50 USD

Стоимость KPU и хранилища за месяц = 39,60 USD + 2,50 USD = 42,10 USD

Каждое приложение Apache Flink использует по дополнительной единице KPU.

Стоимость за месяц = 30 х 24 х 1 KPU х 0,11 USD в час = 79,20 USD

Общая стоимость = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD