Единая студия Amazon SageMaker теперь поддерживает AWS Glue 5.1 для задач обработки данных
Единая студия Amazon SageMaker теперь поддерживает AWS Glue 5.1 для задач обработки данных в визуальном инструменте ETL, блокнотах и коде. Благодаря поддержке AWS Glue 5.1 в Единой студии Amazon SageMaker инженеры по обработке и анализу данных могут выполнять задачи на Apache Spark 3.5.6 с Python 3.11 и Scala 2.12.18, а также использовать обновленные библиотеки Open Table Format, включая Apache Iceberg 1.10.0, Apache Hudi 1.0.2 и Delta Lake 3.3.2.
Чтобы использовать AWS Glue 5.1 в Единой студии Amazon SageMaker при создании задач обработки данных, выберите Glue 5.1 в раскрывающемся списке версий в настройках задачи. Поддерживаются задачи блокнотов и визуального инструмента ETL, а также задачи на основе кода, что позволяет использовать преимущества новейшей среды выполнения Spark и библиотек Open Table Format во всех рабочих процессах обработки данных.
AWS Glue 5.1 в Единой студии Amazon SageMaker поддерживается во всех регионах, где доступна сама Единая студия. Чтобы узнать больше, ознакомьтесь с документацией по Единой студии Amazon SageMaker. Подробнее о том, что входит в AWS Glue 5.1, включая обновленную поддержку Open Table Format и возможности контроля доступа, см. в документации по AWS Glue.