При использовании сервиса Данные Amazon Firehose оплачивается объем данных, загруженных в сервис. Фиксированные или авансовые обязательства отсутствуют. Существует четыре типа использования сервиса Данные Amazon Firehose по требованию: получение данных, преобразование формата, доставка VPC и динамическое разделение. Может взиматься дополнительная плата за передачу данных.

Direct PUT и KDS как источник Ingestion

Основная функция потока Firehose – прием и доставка данных. Цены на получение гибкие и выставляются за каждый полученный ГБ с шагом 5 КБ (запись 3 КБ оплачивается как 5 КБ, запись 12 КБ – как 15 КБ и т. д.). Сервис Данные Amazon Firehose не взимает дополнительную плату за доставку, если не используются дополнительные возможности.

Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK) как источник для получения данных

Основная функция потока Firehose – прием и доставка данных. Расценки на получение данных распределены по уровням и оплачиваются за гигабайт данных без шага 5 КБ. Цены устанавливаются по уровням и тарифицируются за гигабайт в зависимости от более высокого значения между загруженными и доставленными байтами. Оплата зависит от объема данных, а округление размера записи отсутствует.

Предоставленные журналы как источник для получения данных

Для записей, поступающих из вложенных журналов, цены на вложение являются многоуровневыми и рассчитываются за каждый вложенный гигабайт без увеличения на 5 КБ.

Преобразование формата (опционально)

Вы можете преобразовывать формат JSON в формат Apache Parquet или Apache ORC, оплачивая каждый ГБ, в зависимости от количества полученных ГБ с шагом 5 КБ.

Доставка VPC (дополнительная функция)

При использовании потоков Firehose с адресатом, расположенным в Amazon VPC, вы будете оплачивать объем данных, отправленных в конечную точку VPC, и каждый час активности потока Firehose в каждой зоне доступности. Каждый неполный час оплачивается как полный.

Динамическое разделение для доставки Amazon S3 (дополнительная функция)

Вы можете включить динамическое разделение, чтобы непрерывно группировать данные, используя секционные ключи в записях (например, «customer_id»), и передавать информацию, сгруппированную по этим ключам, в соответствующие префиксы Amazon S3. При использовании динамического разделения вы платите в зависимости от объема данных, обработанных с его помощью, и за каждый объект, доставленный в Amazon S3. При использовании парсера JQ для динамического разделения вы платите за час обработки парсинга JQ.

Распаковка журналов CloudWatch (дополнительная функция)

Если распаковка включена, для записей, полученных из журналов CloudWatch, плата за распаковку взимается за 1 ГБ распакованных данных.

  • Direct PUT или поток данных Amazon Kinesis в качестве источника
  • Предоставленные журналы в качестве источника
  • MSK как источник

Примеры расчета цен

Ценообразование для Direct PUT и KDS Ingestion в качестве источника

Объем записи составляет 3 КБ и округляется в большую сторону до ближайшего значения шага размером 5 КБ = 5 КБ

Цена за первые 500 ТБ в месяц = 0,029 USD за ГБ

Цена за ГБ, использованные при получении = (100 записей/с * 5 КБ/запись) / 1 048 576 КБ/ГБ * 30 дней/месяц * 86 400 с/день = 1 235,96 ГБ

Стоимость данных, полученных за месяц = 1235,96 ГБ * 0,029 USD/ГБ = 35,84 USD

Ценообразование для MSK в качестве источника при получении данных

Размер записи 2 КБ (без шага 5 КБ)

Цена за первые 500 ТБ в месяц = 0,055 USD за ГБ

Цена за прием данных в ГБ (при условии, что объем данных такой же, как и в случае доставки) = (100 записей/с * 2 КБ/запись) / 1 048 576 КБ/ГБ * 30 дней/месяц * 86 400 с/день = 494,38 ГБ

Ежемесячная плата за объем данных = 494,38 ГБ * 0,055 USD/ГБ = 27,19 USD

Ценообразование для вложенных журналов в качестве источника при получении данных

Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)

Цена за первые 500 ТБ в месяц = 0,13 USD за ГБ

Цена за ГБ, использованные при получении = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц *86 400 сек/день = 123,59 ГБ

Ежемесячная плата за вход = 123,59 ГБ * 0,13 USD/ГБ = 16,06 USD

Цены на преобразование формата: JSON в Parquet или ORC (дополнительная функция)

Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)

Цена за первые 500 ТБ в месяц = 0,13 USD за ГБ

Цена за ГБ, использованные при получении = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц *86 400 сек/день = 123,59 ГБ

Стоимость данных, полученных за месяц = 123,59 ГБ * 0,13 USD/ГБ = 16,06 USD

Преобразование формата – это дополнительная функция получения данных, при которой для вычисления затрат используются ГБ полученных данных. 

Цена за полученный и преобразованный ГБ данных = 0,018 USD

Стоимость преобразования формата за месяц = 1235,96 ГБ * 0,018 USD/кол-во конвертированных ГБ = 22,25 USD

Цены на доставку VPC (дополнительная функция)

Доставка в VPC является дополнительной функцией к приему данных и использует гигабайты, отправленные в место назначения в VPC, для расчета затрат.

Цена за ГБ, доставленный в пункт назначения в VPC = 0,01 USD

Цена за каждый час доставки VPC в зоне доступности = 0,01 USD

Стоимость обработки данных VPC за месяц = 1235,96 ГБ * 0,01 USD/обработанных ГБ = 12,35 USD

Стоимость VPC при почасовой оплате = 24 ч * 30 дней/месяц * 3 зоны доступности = 2160 ч * 0,01 USD/ч = 21,60 USD. Общая месячная стоимость VPC = 33,95 USD

Цены на динамическое разделение (дополнительная функция)

Динамическое разделение – это дополнительная функция получения данных, при которой для расчета используются гигабайты, обработанные с помощью динамического разделения, количество объектов, доставленных в S3, и, если необходимо, количество часов обработки JQ. Предположим, что объекты размером 64 МБ передаются в результате конфигурации подсказки буфера потока Firehose.

Если вы используете дополнительные функции, такие как преобразование данных с помощью Lambda, преобразование формата или сжатие, в потоке Firehose объем данных, обрабатываемых с помощью динамического разделения, может отличаться от объема тех данных, которые были получены из источника или доставлены в конечную точку. Эти дополнительные этапы обработки данных, выполняемые до и после динамического разбиения на разделы, могут иметь значение.

Цена за ГБ данных, обработанных с помощью динамического разделения = 0,020 USD
Цена за 1000 доставленных объектов S3 = 0,005 USD
Цена за час обработки JQ = 0,07 USD

Объем ГБ данных, обрабатываемых с помощью динамического разделения в месяц = (3 КБ * 100 записей/с) / 1 048 576 КБ/ГБ * 86 400 с/день * 30 дней/месяц = 741,58 ГБ

Ежемесячная плата за ГБ, обработанные с помощью динамического разделения = 741,58 ГБ 0,02 USD/ГБ, обработанных с помощью динамического разделения = 14,83 USD

Количество доставленных объектов = 741,58 ГБ * 1024 МБ/ГБ / 64 МБ (размер объекта) = 11,866 объектов

Стоимость объектов, доставленных в S3 за месяц = 11,866 объекта * 0,005 USD / 1000 объектов = 0,06 USD

Стоимость обработки JQ за месяц (если функция включена) = 70 ч работы с JQ/месяц * 0,07 USD/час обработки JQ = 4,90 USD

Распаковка журналов CloudWatch

Сервис журналов CloudWatch передает данные в сжатом формате GZIP. Функция распаковки сервиса Данные Firehose распаковывает данные, при этом плата взимается за гигабайт распакованных данных.

Ежемесячное использование = 10 ТБ распакованных данных журналов CloudWatch Logs

Цена за 1 ГБ распакованных данных = 0,00325 USD за 1 ГБ в регионе IAD

Ежемесячная плата за распаковку = 10240 ГБ * 0,00325 USD/ГБ = 33,28 USD
 

Соглашение об уровне обслуживания

Узнайте о Соглашении об уровне обслуживания сервиса Данные Amazon Firehose из раздела часто задаваемых вопросов.

Дополнительные ресурсы, посвященные сервису Данные Amazon Firehose

Перейти на страницу ресурсов
Готовы начать?
Регистрация
Возникли дополнительные вопросы?
Связаться с нами