Цены на хранилище в озере данных

Сервис Amazon SageMaker нового поколения разработан на базе открытой архитектуры хранилища в озере данных. Она объединяет все ваши данные в озерах данных Amazon Simple Storage Service (Amazon S3), включая Таблицы S3, и хранилищах данных Amazon Redshift, и помогает создавать мощные аналитические приложения и приложения искусственного интеллекта, а также машинного обучения, используя одну копию данных. Вы платите только за ресурсы, которые используете в хранилище в озере данных. Хранилище метаданных и запросы API соответствуют ценам на каталог данных AWS Glue, включая уровень бесплатного пользования AWS. Стоимость носителей данных и вычислительных ресурсов зависит от выбранного вами сервиса: Amazon S3 или управляемое хранилище Amazon Redshift (RMS). Цены на базовые ресурсы описаны ниже.

Определения данных организованы в виде логической иерархии каталогов, баз данных и таблиц с помощью каталога данных AWS Glue.

• Каталог: логический контейнер, в котором хранятся объекты из хранилища данных, такие как схемы, таблицы, представления или материализованные представления из Amazon Redshift. Каталоги можно размещать в других каталогах, чтобы они соответствовали уровням иерархий источника данных, из которого они переносятся в хранилище в озере данных.
• База данных: базы данных можно использовать для организации объектов данных, таких как таблицы и представления в домике озера.
• Таблицы и представления. Таблицы и представления – это объекты данных в базе данных, описывающие способы доступа к основным данным, таким как схема, разделы, место хранения, формат хранения и SQL-запрос для доступа к данным.

Доступ к метаданным в хранилище в озере данных можно получить с помощью API AWS Glue. На хранилище метаданных и запросы API распространяются цены метаданных в каталоге данных AWS Glue, включая уровень бесплатного пользования AWS. Подробнее см. на странице цен на AWS Glue.

Получая доступ к данным в озере, вы можете читать и записывать данные в Amazon S3 или RMS. В зависимости от выбранного типа хранилища в озере данных вы понесете дополнительные затраты на хранение и вычислительные ресурсы для доступа к базовому хранилищу. Подробнее о ценах на хранилище и вычислительные ресурсы для этих типов хранилищ см. на странице цен на AWS Glue.

Можно автоматизировать сбор статистики по таблицам озера данных в Amazon S3 для ускорения выполнения запросов и обслуживания таблиц Apache Iceberg, например сжатия, для оптимизации структуры хранилища таблиц Apache Iceberg. При включении этих функций с вас будет взиматься дополнительная плата. Подробнее см. на странице цен на AWS Glue.

Подробные разрешения предоставляются на платформе AWS Lake Formation без дополнительной оплаты. Для получения дополнительной информации ознакомьтесь с ценами на Lake Formation.

В SageMaker реализованы интеграции с нулевым использованием ETL с приложениями, что избавляет от необходимости создавать конвейеры извлечения, преобразования и загрузки (ETL) и управлять ими. Поддерживаются такие приложения, как Salesforce, ServiceNow, Zendesk и другие.

Эти интеграции обеспечивают гибкость, поэтому вы можете выбрать определенные таблицы данных в приложении для автоматической репликации в Amazon Redshift. С помощью такой гибкости можно проводить унифицированную аналитику в нескольких приложениях и источниках данных. AWS не взимает дополнительную плату за интеграцию с нулевым использованием ETL. Вы платите за существующие ресурсы, применяемые для создания и обработки данных изменений, которые разработаны в рамках интеграции с нулевым использованием ETL. Сюда входят дополнительное хранилище Amazon Redshift для хранения реплицированных данных, вычислительные ресурсы для обработки репликации данных (или RPU в Amazon Redshift Serverless) и затраты на передачу данных между зонами доступности при перемещении данных из источника в целевой объект. Непрерывная обработка данных об изменениях с помощью интеграции с нулевым использованием ETL выполняется бесплатно. Дополнительные сведения см. в разделе Цены на Amazon Aurora, цены на Amazon Relational Database (Amazon RDS) для MySQL, цены на Amazon DynamoDB и цены на AWS Glue.