AWS Glue 6.0 обеспечивает снижение цены на 30 % и поддержку Iceberg v3
AWS Glue 6.0 сейчас общедоступен. Он позволяет снизить цену на 30 % и обеспечивает полную поддержку Apache Iceberg v3, новых версий Apache Hudi и Delta Lake, а также новые возможности для повышения производительности разработчиков. В AWS Glue 6.0 также обновлена среда выполнения до Apache Spark 4.1, Python 3.13 и Scala 2.13.
В Apache Iceberg v3 в AWS Glue 6.0 добавлен тип данных VARIANT с автоматическим разложением для более быстрого чтения полуструктурированных данных, векторы удаления для высокопроизводительного обновления на уровне строк, типы геометрических и географических данных для пространственной обработки и гибкая эволюция схемы с использованием значений типа данных UNKNOWN и столбцов DEFAULT. В Glue 6.0 также представлены функции, повышающие производительность разработчиков, такие как декларативные конвейеры Spark, устраняющие повторяющийся код оркестрации, потоковая передача в режиме реального времени с задержками менее секунды и нативные для Arrow пользовательские функции Python для повышения производительности PySpark. Эти возможности помогают реализовать крупномасштабные процессы ETL, повторяющиеся пакетные рабочие нагрузки, потоковую аналитику и разработку приложений ИИ с помощью AWS Glue.
Сервис AWS Glue 6.0 доступен во всех коммерческих регионах AWS, регионах AWS GovCloud (США) и регионах AWS в Китае.
Для начала работы выберите Glue 6.0 в раскрывающемся списке версий в консоли AWS Glue или в Единой студии SageMaker при создании задания либо перенесите существующие задания с помощью агента обновления генеративного искусственного интеллекта для Apache Spark в AWS Glue. Подробнее см. в документации по AWS Glue и на странице цен на AWS Glue.