Цены на AWS Glue

При использовании AWS Glue начисляется посекундная плата на основе почасового тарифа за использование поисковых ботов (обнаружение данных) и заданий на точность, преобразование и загрузку (ETL) (обработка и загрузка данных). При использовании каталога данных AWS Glue начисляется упрощенная ежемесячная плата за хранение метаданных и доступ к ним. Хранение первого миллиона объектов и первый миллион обращений к ним не оплачиваются. При использовании адреса разработки для интерактивной разработки кода ETL начисляется посекундная плата на основе почасового тарифа. Интерактивные сеансы AWS Glue DataBrew оплачиваются по количеству сеансов, а задания DataBrew – поминутно. Использование реестра AWS Glue Schema предоставляется без дополнительной оплаты.

Примечание. Цены могут отличаться в зависимости от региона.

Калькулятор цен AWS

Посчитайте затраты на AWS Glue и архитектуру в единой смете.

Создайте персонализированную смету прямо сейчас »

Задания ETL и интерактивные сеансы
Примеры расчета цен

Задание ETL. Рассмотрим задание AWS Glue Apache Spark, которое выполняется в течение 15 минут и использует шесть DPU. Стоимость 1 DPU‑часа составляет 0,44 USD. Поскольку задание выполнялось в течение 1/4 часа и использовало шесть DPU, вы оплатите AWS следующую сумму: 6 DPU * 1/4 часа * 0,44 USD или 0,66 USD.

Блокноты заданий и интерактивные сеансы AWS Glue Studio. Предположим, что вы используете блокнот в AWS Glue Studio для интерактивной разработки кода ETL. По умолчанию для интерактивного сеанса выделяется пять DPU. Если сеанс длится 24 минуты, или 2/5 часа, будет начислена плата в размере 5 DPU * 2/5 часа по 0,44 USD за 1 DPU‑час, или 0,88 USD.

ML‑преобразования. Как и в случае с запуском заданий в AWS Glue, стоимость передачи данных ML‑преобразований (включая FindMatches) может меняться в зависимости от размера и содержимого файлов данных, а также от количества и типов используемых узлов. В следующем примере мы использовали FindMatches, чтобы интегрировать информацию о достопримечательностях из различных источников. C пакетом данных объемом ~11 000 000 строк (1,6 ГБ), данных о метках (примеры полных совпадений и несовпадений) объемом ~8000 строк (641 КБ) и при условии использования 16 инстансов типа G.2x генерация меток пройдет за 34 минуты и будет стоить 8,23 USD, оценка метрики займет 11 минут при стоимости 2,66 USD, а выполнение задания FindingMatches завершится за 32 минуты и будет стоить 7,75 USD.
Каталог данных: хранение и запросы
Примеры расчета цен

Расчет стоимости для каталога данных AWS Glue на уровне бесплатного пользования. Предположим, в течение месяца вы храните в каталоге данных AWS Glue миллион таблиц и выполняете миллион запросов на доступ к ним. Вы заплатите 0 USD, поскольку это соответствует уровню бесплатного пользования каталогом данных AWS Glue. Хранение первого миллиона объектов и первый миллион запросов в месяц не оплачиваются.

Расчет стоимости для каталога данных AWS Glue. Теперь предположим, что объем использования хранилища не изменился и по‑прежнему составляет один миллион таблиц в месяц, однако количество запросов выросло до двух миллионов в месяц. Предположим также, что для поиска новых таблиц вы применяете сканеры, которые работают в течение 30 минут и используют 2 DPU.

Плата за хранение по‑прежнему составляет 0 USD, поскольку хранение первого миллиона таблиц не оплачивается. Первый миллион запросов также не оплачивается. Вы заплатите 1 USD за один миллион запросов сверх уровня бесплатного пользования. За работу сканеров начисляется плата в размере 0,44 USD за DPU‑час, поэтому вы заплатите 2 DPU * 1/2 часа по 0,44 USD за DPU‑час, или 0,44 USD. Таким образом, общая плата за месяц составит 1,44 USD.
Сканеры
Интерактивные сеансы DataBrew
Примеры расчета цен

Расчет стоимости для AWS Glue DataBrew. Стоимость каждого интерактивного сеанса продолжительностью 30 минут составляет 1,00 USD. Если вы начнете сеанс в 9:00, немедленно покинете консоль и вернетесь с 9:20 по 9:30, это будет 1 сеанс на общую сумму 1 USD.

Если вы начнете сеанс в 9:00 и будете работать в консоли DataBrew до 9:50, выйдете из области проекта DataBrew и вернетесь для последнего взаимодействия в 10:15, это займет 3 сеанса, и вам будет выставлен счет в размере 1 USD за сеанс на общую сумму 3 USD.
Задания DataBrew
Примеры расчета цен

AWS Glue DataBrew. Если задание AWS Glue DataBrew выполняется в течение 10 минут с использованием 5 узлов AWS Glue DataBrew, стоимость составляет 0,40 USD. Поскольку задание выполнялось в течение 1/6 часа с использованием 5 узлов, будет начислена плата в размере 5 узлов * 1/6 часа по 0,48 USD за узел, или 0,40 USD.
Качество данных
Примеры расчета цен

Пример 1. Получение рекомендаций для таблицы в Каталоге данных AWS Glue

Например, рассмотрим задание рекомендации с 5 DPU, которое выполняется за 10 минут. Вы заплатите за 5 DPU * 1/6 часа * 0,44 USD, что составляет 0,37 USD.

Пример 2. Оценка качества данных таблицы в Каталоге данных AWS Glue

После просмотра рекомендаций вы можете отредактировать их, если это необходимо, а затем запланировать выполнение задания качества данных путем предоставления DPU. Например, рассмотрим задание оценки качества данных с 5 DPU, которое выполняется за 20 минут.

Вы заплатите за 5 DPU * 1/3 часа * 0,44 USD, что составляет 0,73 USD.

Пример 3. Оценка качества данных в задании ETL AWS Glue

Вы также можете добавить эти проверки качества данных в задания ETL AWS Glue, чтобы предотвратить попадание некачественных данных в ваши озера данных. Это можно сделать, добавив задание Data Quality Transform в AWS Glue Studio или используя API AWS Glue в коде, который вы создаете в блокнотах AWS Glue Studio. Рассмотрим задание AWS Glue, выполняемое там, где правила качества данных настроены в рамках конвейера, которое выполняется 20 минут (1/3 часа) с 6 DPU. Вы заплатите за 6 DPU * 1/3 часа * 0,44 USD, что составляет 0,88 USD. Кроме того, вы можете использовать Flex, за что взимается плата за 6 DPU * 1/3 часа * 0,29 USD, что составляет 0,58 USD.