При использовании AWS Glue начисляется посекундная плата на основе почасового тарифа за сканеры (обнаружение данных) и ETL-задания (обработка и загрузка данных). При использовании каталога данных AWS Glue начисляется простая ежемесячная плата за хранение метаданных и доступ к ним. Хранение первого миллиона объектов и первый миллион обращений к ним не оплачиваются. При использовании адреса разработки для интерактивной разработки кода ETL начисляется посекундная плата на основе почасового тарифа.

ETL-задания и адреса разработки

Каталог данных: хранение и запросы

Сканеры

Примеры расчета стоимости

Готовы начать свой процесс ETL?

Начать работу с AWS Glue

При использовании AWS Glue оплачивается только время исполнения ETL-задания. Не требуется управлять ресурсами или оплачивать время запуска и завершения работы; авансовые платежи отсутствуют. Плата начисляется на основе почасового тарифа с учетом количества блоков обработки данных (DPU), используемых для исполнения ETL-задания. Один блок обработки данных (DPU) содержит 4 виртуальных ЦПУ и 16 ГБ памяти. Каждому ETL-заданию Glue необходимо не менее 2 DPU. По умолчанию AWS Glue выделяет 10 DPU для каждого ETL-задания. Плата начисляется в размере 0,44 USD за DPU-час на посекундной основе с округлением до ближайшей секунды. Минимальная продолжительность ETL-задания составляет 10 минут.

Использование адресов разработки не является обязательным. Они оплачиваются только при интерактивной разработке ETL-кода. Плата за адреса разработки начисляется на основе DPU-часов за время их использования. Каждому адресу разработки AWS Glue требуется не менее 2 DPU. По умолчанию AWS Glue выделяет по 5 DPU на каждый адрес разработки. Плата начисляется в размере 0,44 USD за DPU-час на посекундной основе с округлением до ближайшей секунды. Минимальная продолжительность использования выделенного адреса разработки составляет 10 минут.

Для всех регионов AWS, где доступен AWS Glue:

  • 0,44 USD за DPU-час на посекундной основе; минимальная продолжительность каждого ETL-задания – 10 минут;
  • 0,44 USD за DPU-час на посекундной основе; минимальная продолжительность использования выделенного адреса разработки – 10 минут.

При выполнении ETL-операций с данными из Amazon S3, Amazon RDS или Amazon Redshift начисляется плата за запросы и передачу данных на основе стандартных тарифов. При использовании Amazon CloudWatch начисляется плата за журналы CloudWatch Logs и события CloudWatch на основе стандартных тарифов.

В каталоге данных AWS Glue можно бесплатно хранить до миллиона объектов. Если количество объектов превышает 1 миллион, начисляется ежемесячная плата в размере 1 USD за каждые 100 000 объектов сверх миллиона. Объектами в каталоге данных AWS Glue считаются таблицы, версии таблиц, разделы и базы данных.

Первый миллион запросов на доступ к каталогу данных AWS Glue в месяц предоставляется бесплатно. Если количество запросов в месяц превышает 1 миллион, начисляется плата в размере 1 USD за каждый миллион запросов сверх первого миллиона. В числе распространенных запросов – CreateTable, CreatePartition, GetTable и GetPartitions. Полный список запросов, поддерживаемых каталогом данных AWS Glue, см. в документации.

Для всех регионов AWS, где доступен AWS Glue:

Хранилище:

  • первый миллион объектов – бесплатно;
  • 1 USD в месяц за каждые 100 000 объектов сверх 1 миллиона.

Запросы:

  • первый миллион запросов в месяц – бесплатно;
  • 1 USD в месяц за каждый миллион запросов сверх 1 миллиона.

Сканеры AWS Glue отвечают за обнаружение данных и наполнение каталога данных AWS Glue. Время их работы оплачивается на основе почасового тарифа. Плата начисляется на основе почасового тарифа с учетом количества блоков обработки данных (DPU), используемых для работы сканера. Один блок обработки данных (DPU) содержит 4 виртуальных ЦПУ и 16 ГБ памяти. Плата начисляется на посекундной основе с округлением до ближайшей секунды. Минимальное время работы сканера составляет 10 минут. Использование сканеров AWS Glue не является обязательным. Каталог данных AWS Glue можно наполнять напрямую через API.

Для всех регионов AWS, где доступен AWS Glue:

  • 0,44 USD за DPU-час на посекундной основе; минимальное время работы сканера – 10 минут.

Пример расчета стоимости для ETL-задания. Предположим, ETL-задание исполняется в течение 10 минут и использует 6 DPU. Цена 1 DPU-часа составляет 0,44 USD. Поскольку задание исполняется в течение 1/6 часа с использованием 6 DPU, будет начислена плата в размере 6 DPU * 1/6 часа по 0,44 USD за DPU-час, или 0,44 USD.

Пример расчета стоимости для адреса разработки. Предположим, вы используете адрес разработки для подключения блокнота в целях интерактивной разработки ETL-кода. Адресу разработки выделяется 5 DPU. Если адрес разработки используется в течение 24 минут, или 2/5 часа, будет начислена плата в размере 5 DPU * 2/5 часа по 0,44 USD за DPU-час, или 0,88 USD.

Пример расчета стоимости для каталога данных AWS Glue на уровне бесплатного пользования. Предположим, в течение месяца вы храните в каталоге данных AWS Glue миллион таблиц и выполняете миллион запросов на доступ к ним. Вы заплатите 0 USD, поскольку вписываетесь в уровень бесплатного пользования каталогом данных AWS Glue. Хранение первого миллиона объектов и первый миллион запросов в месяц не оплачиваются.

Пример расчета стоимости для каталога данных AWS Glue. Теперь предположим, что объем использования хранилища не изменился и по-прежнему составляет 1 миллион таблиц в месяц, однако количество запросов выросло до 2 миллионов в месяц. Предположим также, что для поиска новых таблиц вы применяете сканеры, которые работают в течение 30 минут и используют 2 DPU.

Плата за хранение по-прежнему составит 0 USD, поскольку хранение первого миллиона таблиц не оплачивается. Первый миллион запросов также не оплачивается. Вы заплатите 1 USD за 1 миллион запросов сверх уровня бесплатного пользования. За работу сканеров начисляется плата в размере 0,44 USD за DPU-час, поэтому вы заплатите 2 DPU * 1/2 часа по 0,44 USD за DPU-час, или 0,44 USD. Таким образом, общая плата за месяц составит 1,44 USD.