Часто задаваемые вопросы по обработке данных Amazon SageMaker

Обработка данных SageMaker анализирует, подготавливает, интегрирует и упорядочивает ваши данные с помощью функций обработки Amazon Athena, Amazon EMR, AWS Glue и Управляемых рабочих процессов Amazon для Apache Airflow (Amazon MWAA). Можно использовать платформы с открытым исходным кодом для обработки данных, в том числе Apache Spark, анализировать данные при масштабировании с помощью Trino, а также легко формировать аналитику в реальном времени с помощью Apache Flink и Apache Spark.

Обработка данных SageMaker включает Amazon EMR, Athena, AWS Glue и Amazon MWAA.

Обработка данных SageMaker помогает анализировать данные, создавать задания по преобразованию данных, выполнять оркестрацию и развертывать конвейеры данных при масштабировании. Этот сервис повышает производительность и позволяет получать данные быстрее, чем традиционные системы. В сервисе используются версии Apache Spark, Apache Airflow, Apache Flink, Trino и т. д., которые совместимы с API, имеют открытый исходный код и являются экономичными. Обработка данных SageMaker предоставляет доступ к вашим источникам данных в Amazon SageMaker Lakehouse с помощью интеграций с нулевым использованием ETL, возможностей федеративных запросов и коннекторов.

Нет, вам не нужно переходить на SageMaker. Вы можете продолжать использовать Amazon EMR, Athena, AWS Glue и Amazon MWAA так же, как и сегодня. Однако мы рекомендуем начинать использовать SageMaker, чтобы получить преимущества от унифицированного инструментария, встроенных средств управления данными и упрощенной архитектуры SageMaker Lakehouse.

Никаких последствий для имеющихся кодов, запросов, заданий и других ресурсов, которые вы создали и использовали в Amazon EMR, Athena или AWS Glue, не будет. При желании вы можете продолжать использовать эти сервисы для новых рабочих нагрузок. Ресурсы, созданные в этих сервисах, например Amazon EMR на кластерах Amazon Elastic Compute Cloud (Amazon EC2), отображаются в SageMaker, что упрощает разработку приложений для аналитики и работы с искусственным интеллектом. Существующие интерфейсы разработки, встроенные в Amazon EMR, AWS Glue и Athena, сохранятся в дополнение к новому интерфейсу разработки в SageMaker.

В SageMaker доступна новейшая версия AWS Glue (AWS Glue 5.0). AWS Glue 5.0 позволяет ускорить выполнение рабочих нагрузок по обработке данных и предоставляет обновленное время выполнения Apache Spark 3.5.2, оптимизированное для повышения производительности, чтобы вы могли разрабатывать, запускать и масштабировать свои решения для ускорения процесса анализа. Чтобы узнать больше, посетите страницу AWS Glue.

Для каждого сервиса AWS, который вы используете через SageMaker, установлены отдельные цены. Дополнительные сведения см. на странице цен AWS на Athena, Amazon EMR, AWS Glue и Amazon MWAA.