При использовании сервиса Данные Amazon Firehose оплачивается объем данных, загруженных в сервис. Фиксированные или авансовые обязательства отсутствуют. Существует четыре типа использования сервиса Данные Amazon Firehose по требованию: получение данных, преобразование формата, доставка VPC и динамическое разделение. Может взиматься дополнительная плата за передачу данных.
Direct PUT и KDS как источник Ingestion
Основная функция потока Firehose – прием и доставка данных. Цены на получение гибкие и выставляются за каждый полученный ГБ с шагом 5 КБ (запись 3 КБ оплачивается как 5 КБ, запись 12 КБ – как 15 КБ и т. д.). Сервис Данные Amazon Firehose не взимает дополнительную плату за доставку, если не используются дополнительные возможности.
Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK) как источник для получения данных
Основная функция потока Firehose – прием и доставка данных. Расценки на получение данных распределены по уровням и оплачиваются за гигабайт данных без шага 5 КБ. Цены устанавливаются по уровням и тарифицируются за гигабайт в зависимости от более высокого значения между загруженными и доставленными байтами. Оплата зависит от объема данных, а округление размера записи отсутствует.
Предоставленные журналы как источник для получения данных
Для записей, поступающих из вложенных журналов, цены на вложение являются многоуровневыми и рассчитываются за каждый вложенный гигабайт без увеличения на 5 КБ.
Преобразование формата (опционально)
Вы можете преобразовывать формат JSON в формат Apache Parquet или Apache ORC, оплачивая каждый ГБ, в зависимости от количества полученных ГБ с шагом 5 КБ.
Доставка VPC (дополнительная функция)
При использовании потоков Firehose с адресатом, расположенным в Amazon VPC, вы будете оплачивать объем данных, отправленных в конечную точку VPC, и каждый час активности потока Firehose в каждой зоне доступности. Каждый неполный час оплачивается как полный.
Динамическое разделение для доставки Amazon S3 (дополнительная функция)
Вы можете включить динамическое разделение, чтобы непрерывно группировать данные, используя секционные ключи в записях (например, «customer_id»), и передавать информацию, сгруппированную по этим ключам, в соответствующие префиксы Amazon S3. При использовании динамического разделения вы платите в зависимости от объема данных, обработанных с его помощью, и за каждый объект, доставленный в Amazon S3. При использовании парсера JQ для динамического разделения вы платите за час обработки парсинга JQ.
Распаковка журналов CloudWatch (дополнительная функция)
Если включена распаковка, то для записей из журналов CloudWatch взимается плата за распаковку за каждый гигабайт распакованных данных.
Snowflake в качестве места назначения
При использовании потоков Firehose, в которых Snowflake указан в качестве места назначения, взимается плата за объем переданных в это место назначения данных. Стоимость указана за 1 загруженный ГБ без увеличения в 5 КБ. Цены применяются к более высокому из двух значений: полученные байты или доставленные байты.
Таблицы Apache Iceberg в качестве места назначения
При использовании потоков Firehose, в которых таблицы Apache Iceberg указаны в качестве места назначения, взимается плата за объем переданных в это место назначения данных. Стоимость указана за 1 загруженный гигабайт без увеличения в 5 КБ. Если объем данных, переданных в это место назначения, превышает количество загруженных байтов в результате применения функции Lambda, то этот дополнительный объем также оплачиваются. Плата за дополнительные байты для всех источников, включая Direct PUT, взимается по той ставке, которая указана для отправки данных из Kinesis Data Streams в таблицы Apache Iceberg.
-
Direct PUT
-
Поток данных Kinesis в качестве источника
-
Предоставленные журналы в качестве источника
-
MSK в качестве источника
-
Direct PUT
-
-
Таблицы Apache Iceberg в качестве места назначения
-
Snowflake в качестве места назначения
-
Другие конечные точки
-
Таблицы Apache Iceberg в качестве места назначения
-
-
Snowflake в качестве места назначения
-
-
Другие конечные точки
-
-
-
Поток данных Kinesis в качестве источника
-
-
Таблицы Apache Iceberg в качестве места назначения
-
Snowflake в качестве места назначения
-
Другие конечные точки
-
Таблицы Apache Iceberg в качестве места назначения
-
-
Snowflake в качестве места назначения
-
-
Другие конечные точки
-
-
-
Предоставленные журналы в качестве источника
-
-
Таблицы Apache Iceberg в качестве места назначения
-
Другие места назначения
-
Таблицы Apache Iceberg в качестве места назначения
-
-
Другие места назначения
-
-
-
MSK в качестве источника
-
-
Таблицы Apache Iceberg в качестве места назначения
-
Другие места назначения
-
Таблицы Apache Iceberg в качестве места назначения
-
-
Другие места назначения
-
-
Примеры расчета цен
Ценообразование для Direct PUT и KDS Ingestion в качестве источника
Объем записи составляет 3 КБ и округляется в большую сторону до ближайшего значения шага размером 5 КБ = 5 КБ
Цена за первые 500 ТБ в месяц = 0,029 USD за ГБ
Цена за ГБ, использованные при получении = (100 записей/с * 5 КБ/запись) / 1 048 576 КБ/ГБ * 30 дней/месяц * 86 400 с/день = 1 235,96 ГБ
Стоимость данных, полученных за месяц = 1235,96 ГБ * 0,029 USD/ГБ = 35,84 USD
Ценообразование для MSK в качестве источника при получении данных
Размер записи 2 КБ (без шага 5 КБ)
Цена за первые 500 ТБ в месяц = 0,055 USD за ГБ
Цена за прием данных в ГБ (при условии, что объем данных такой же, как и в случае доставки) = (100 записей/с * 2 КБ/запись) / 1 048 576 КБ/ГБ * 30 дней/месяц * 86 400 с/день = 494,38 ГБ
Ежемесячная плата за объем данных = 494,38 ГБ * 0,055 USD/ГБ = 27,19 USD
Ценообразование для вложенных журналов в качестве источника при получении данных
Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)
Цена за первые 500 ТБ в месяц = 0,13 USD за ГБ
Цена за ГБ, использованные при получении = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц *86 400 сек/день = 123,59 ГБ
Стоимость данных, полученных за месяц = 123,59 ГБ * 0,13 USD/ГБ = 16,06 USD
Цены на Snowflake в качестве конечной точки
Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)
Цена за 1 ГБ, доставленный в Snowflake, = 0,071 USD за 1 ГБ
Цена за ГБ, использованные при получении = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц * 86 400 сек/день = 123,59 ГБ
Стоимость данных, полученных за месяц = 123,59 ГБ * 0,13 USD/ГБ = 8,77 USD
Плата за использование таблиц Apache Iceberg в качестве места назначения
Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)
Цена за гигабайт данных, доставленных в таблицы Apache Iceberg из Kinesis Data Streams в качестве источника, = 0,045 USD за ГБ
Цена за ГБ полученных данных = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц * 86 400 сек/день = 123,59 ГБ
Стоимость данных, полученных за месяц = 123,59 ГБ * 0,045 USD/ГБ = 5,56 USD
Цены на преобразование из формата: JSON в Parquet или ORC (дополнительно)
Размер записи 0,5 КБ (500 байт) = 0,5 КБ (без шага в 5 КБ)
Цена за первые 500 ТБ в месяц = 0,13 USD за ГБ
Цена за ГБ, использованные при получении = (100 записей/с * 0,5 КБ/запись) / 1 048 576 КБ/ГБ / 30 дней / месяц *86 400 сек/день = 123,59 ГБ
Стоимость данных, полученных за месяц = 123,59 ГБ * 0,13 USD/ГБ = 16,06 USD
Преобразование формата – это дополнительная функция получения данных, при которой для вычисления затрат используются ГБ полученных данных.
Цена за полученный и преобразованный ГБ данных = 0,018 USD
Стоимость преобразования формата за месяц = 1235,96 ГБ * 0,018 USD/кол-во конвертированных ГБ = 22,25 USD
Цены на доставку VPC (дополнительная функция)
Доставка в VPC является дополнительной функцией к приему данных и использует гигабайты, отправленные в место назначения в VPC, для расчета затрат.
Цена за ГБ, доставленный в пункт назначения в VPC = 0,01 USD
Цена за каждый час доставки VPC в зоне доступности = 0,01 USD
Стоимость обработки данных VPC за месяц = 1235,96 ГБ * 0,01 USD/обработанных ГБ = 12,35 USD
Стоимость VPC при почасовой оплате = 24 ч * 30 дней/месяц * 3 зоны доступности = 2160 ч * 0,01 USD/ч = 21,60 USD. Общая месячная стоимость VPC = 33,95 USD
Цены на динамическое разделение (дополнительная функция)
Динамическое разделение – это дополнительная функция получения данных, при которой для расчета используются гигабайты, обработанные с помощью динамического разделения, количество объектов, доставленных в S3, и, если необходимо, количество часов обработки JQ. Предположим, что объекты размером 64 МБ передаются в результате конфигурации подсказки буфера потока Firehose.
Если вы используете дополнительные функции, такие как преобразование данных с помощью Lambda, преобразование формата или сжатие, в потоке Firehose объем данных, обрабатываемых с помощью динамического разделения, может отличаться от объема тех данных, которые были получены из источника или доставлены в конечную точку. Эти дополнительные этапы обработки данных, выполняемые до и после динамического разбиения на разделы, могут иметь значение.
Цена за ГБ данных, обработанных с помощью динамического разделения = 0,020 USD
Цена за 1000 доставленных объектов S3 = 0,005 USD
Цена за час обработки JQ = 0,07 USD
Объем ГБ данных, обрабатываемых с помощью динамического разделения в месяц = (3 КБ * 100 записей/с) / 1 048 576 КБ/ГБ * 86 400 с/день * 30 дней/месяц = 741,58 ГБ
Ежемесячная плата за ГБ, обработанные с помощью динамического разделения = 741,58 ГБ 0,02 USD/ГБ, обработанных с помощью динамического разделения = 14,83 USD
Количество доставленных объектов = 741,58 ГБ * 1024 МБ/ГБ / 64 МБ (размер объекта) = 11,866 объектов
Стоимость объектов, доставленных в S3 за месяц = 11,866 объекта * 0,005 USD / 1000 объектов = 0,06 USD
Стоимость обработки JQ за месяц (если функция включена) = 70 ч работы с JQ/месяц * 0,07 USD/час обработки JQ = 4,90 USD
Распаковка журналов CloudWatch
Сервис журналов CloudWatch передает данные в сжатом формате GZIP. Функция распаковки сервиса Данные Firehose распаковывает данные, при этом плата взимается за гигабайт распакованных данных.
Ежемесячное использование = 10 ТБ распакованных данных журналов CloudWatch Logs
Цена за 1 ГБ распакованных данных = 0,00325 USD за 1 ГБ в регионе IAD
Ежемесячная плата за распаковку = 10240 ГБ * 0,00325 USD/ГБ = 33,28 USD
Соглашение об уровне обслуживания
Узнайте о Соглашении об уровне обслуживания сервиса Данные Amazon Firehose из раздела часто задаваемых вопросов.
Дополнительные ресурсы, посвященные сервису Данные Amazon Firehose