Бессерверная интеграция данных – Цены на AWS Glue

При использовании AWS Glue начисляется посекундная плата на основе почасового тарифа за использование поисковых ботов (обнаружение данных), а также заданий на точность, преобразование и загрузку (ETL) (обработка и загрузка данных). При использовании каталога данных AWS Glue начисляется упрощенная ежемесячная плата за хранение метаданных и доступ к ним. Хранение первого миллиона объектов и первый миллион обращений к ним не оплачиваются. При использовании адреса разработки для интерактивной разработки кода ETL начисляется посекундная плата на основе почасового тарифа. Интерактивные сеансы AWS Glue DataBrew оплачиваются по количеству сеансов, а задания DataBrew – поминутно. Использование реестра AWS Glue Schema предоставляется без дополнительной оплаты.

Примечание. Цены могут отличаться в зависимости от региона AWS.

Задания ETL и интерактивные сеансы
Примеры расчета цен

Задание ETL. Рассмотрим задание AWS Glue Apache Spark, которое выполняется в течение 15 минут и использует шесть DPU. Стоимость 1 DPU‑часа составляет 0,44 USD. Поскольку задание выполнялось в течение 1/4 часа и использовало шесть DPU, вы оплатите AWS следующую сумму: 6 DPU * 1/4 часа * 0,44 USD или 0,66 USD.

Блокноты заданий и интерактивные сеансы AWS Glue Studio. Предположим, что вы используете блокнот в AWS Glue Studio для интерактивной разработки кода ETL. По умолчанию для интерактивного сеанса выделяется пять DPU. Если сеанс длится 24 минуты (2/5 часа), будет начислена плата в размере 5 DPU * 2/5 часа по 0,44 USD за 1 DPU‑час, то есть 0,88 USD.

ML‑преобразования. Как и в случае с запуском заданий в AWS Glue, стоимость передачи данных ML‑преобразований (включая FindMatches) может меняться в зависимости от размера и содержимого файлов данных, а также от количества и типов используемых узлов. В следующем примере мы использовали FindMatches, чтобы интегрировать информацию о достопримечательностях из различных источников. С пакетом данных объемом ~11 000 000 строк (1,6 ГБ), данных о метках (примеры полных совпадений и несовпадений) объемом ~8000 строк (641 КБ) и при условии использования 16 инстансов типа G.2x генерация меток пройдет за 34 минуты и будет стоить 8,23 USD, оценка метрики займет 11 минут при стоимости 2,66 USD, а выполнение задания FindingMatches завершится за 32 минуты и обойдется в 7,75 USD.
Каталог данных
Примеры расчета цен

Расчет стоимости для каталога данных AWS Glue на уровне бесплатного пользования. Предположим, в течение месяца вы храните в каталоге данных миллион таблиц и выполняете миллион запросов на доступ к ним. Вы заплатите 0 USD, поскольку это соответствует уровню бесплатного пользования каталогом данных AWS Glue. Хранение первого миллиона объектов и первый миллион запросов в месяц не оплачиваются.

Расчет стоимости для каталога данных AWS Glue. Теперь предположим, что объем использования хранилища не изменился и по‑прежнему составляет один миллион таблиц в месяц, однако количество запросов выросло до двух миллионов в месяц. Предположим также, что для поиска новых таблиц вы применяете сканеры, которые работают в течение 30 минут и используют 2 DPU.

Плата за хранение по‑прежнему составляет 0 USD, поскольку хранение первого миллиона таблиц не оплачивается. Первый миллион запросов также не оплачивается. Вы заплатите 1 USD за один миллион запросов сверх уровня бесплатного пользования. За работу сканеров начисляется плата в размере 0,44 USD за DPU‑час, поэтому вы заплатите 2 DPU * 1/2 часа по 0,44 USD за DPU‑час, то есть 0,44 USD.

Если вы создаете статистику по таблицам Glue на протяжении 10 минут и используете для этого 1 DPU, вам будет выставлен счет за 1 DPU * 1/6 часа * 0,44 USD за DPU-час, что составляет 0,07 USD.

Если вы сжимаете таблицы Apache Iceberg в течение 30 минут и используете 2 DPU, вам будет выставлен счет за 2 DPU * 1/2 часа * 0,44 USD за DPU-час, то есть 0,44 USD.
Сканеры
Интерактивные сеансы DataBrew
Примеры расчета цен

Расчет стоимости для AWS Glue DataBrew. Стоимость каждого интерактивного сеанса продолжительностью 30 минут составляет 1,00 USD. Если вы начнете сеанс в 9:00, немедленно покинете консоль и вернетесь с 9:20 по 9:30, это будет 1 сеанс на общую сумму 1 USD.

Если вы начнете сеанс в 9:00 и будете работать в консоли DataBrew до 9:50, выйдете из области проекта DataBrew и вернетесь для последнего взаимодействия в 10:15, это займет 3 сеанса, и вам будет выставлен счет в размере 1 USD за сеанс на общую сумму 3 USD.
Задания DataBrew
Примеры расчета цен

AWS Glue DataBrew. Если задание DataBrew выполняется в течение 10 минут с использованием 5 узлов DataBrew, стоимость составляет 0,40 USD. Поскольку задание выполнялось в течение 1/6 часа с использованием 5 узлов, будет начислена плата в размере 5 узлов * 1/6 часа по 0,48 USD за узел, то есть 0,40 USD.
Качество данных
Примеры расчета цен

Пример 1. Получение рекомендаций для таблицы в Каталоге данных

Например, рассмотрим задание рекомендации с 5 DPU, которое выполняется за 10 минут. Вы заплатите за 5 DPU * 1/6 часа * 0,44 USD, что составляет 0,37 USD.

Пример 2. Оценка качества данных таблицы в Каталоге данных

После просмотра рекомендаций вы можете отредактировать их, если это необходимо, а затем запланировать выполнение задания качества данных путем предоставления DPU. Например, рассмотрим задание оценки качества данных с 5 DPU, которое выполняется за 20 минут.

Вы заплатите за 5 DPU * 1/3 часа * 0,44 USD, что составляет 0,73 USD.

Пример 3. Оценка качества данных в задании ETL AWS Glue

Вы также можете добавить эти проверки качества данных в задания ETL AWS Glue, чтобы предотвратить попадание некачественных данных в ваши озера данных. Это можно сделать, добавив задание Data Quality Transform в AWS Glue Studio или используя API AWS Glue в коде, который вы создаете в блокнотах AWS Glue Studio. Рассмотрим задание AWS Glue, выполняемое там, где правила качества данных настроены в рамках конвейера, которое выполняется 20 минут (1/3 часа) с 6 DPU. Вы заплатите за 6 DPU * 1/3 часа * 0,44 USD, что составляет 0,88 USD. Кроме того, вы можете использовать Flex, за что взимается плата за 6 DPU * 1/3 часа * 0,29 USD, что составляет 0,58 USD.