Знакомство с AWS Glue 5.1
Сервис AWS Glue 5.1 теперь доступен для всех. Он обеспечивает более высокую производительность, обновления системы безопасности, расширенные возможности Apache Iceberg и поддержку операций записи AWS Lake Formation для рабочих нагрузок интеграции данных.
AWS Glue – это бессерверный масштабируемый сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из нескольких источников. Этот выпуск содержит улучшения в области производительности и безопасности благодаря обновлению основных движков до Apache Spark 3.5.6, Python 3.11 и Scala 2.12.18. Также обновлена поддержка библиотек открытых форматов таблиц, включая Apache Hudi 1.0.2, Apache Iceberg 1.10.0 и Delta Lake 3.3.2.
В AWS Glue 5.1 реализована поддержка формата Apache Iceberg версии 3.0, добавлены значения столбцов по умолчанию, векторы удаления для таблиц в режиме слияния при чтении (merge-on-read), преобразования с несколькими аргументами и отслеживание происхождения строк. С этого выпуска детализированный контроль доступа AWS Lake Formation распространяется на операции записи (как DML, так и DDL) для Spark DataFrames и Spark SQL. Ранее область его применения была ограничена операциями чтения. AWS Glue 5.1 теперь также поддерживает управление доступом на уровне всей таблицы в Apache Spark для таблиц Apache Hudi и Delta Lake, что позволяет реализовать более комплексные сценарии защиты данных.
Сервис AWS Glue 5.1 доступен в регионах Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Ирландия, Стокгольм, Франкфурт, Испания), Азиатско-Тихоокеанский регион (Гонконг, Сингапур, Сидней, Токио, Малайзия, Таиланд, Мумбаи) и Южная Америка (Сан-Паулу). Дополнительные сведения см. в документации AWS Glue.