Сервис AWS Glue 5.1 теперь доступен во всех коммерческих регионах AWS и регионах AWS GovCloud (США)
Сервис AWS Glue 5.1 теперь доступен в следующих регионах: Азиатско-Тихоокеанский регион (Новая Зеландия) и AWS GovCloud (США – восток; США – запад).
AWS Glue – это бессерверный масштабируемый сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из множества источников. Выпуск AWS Glue 5.1 содержит улучшения в области производительности и безопасности за счет обновления основных движков до версий Apache Spark 3.5.6, Python 3.11 и Scala 2.12.18. В этом выпуске также обновлена поддержка библиотек открытых форматов таблиц, включая Apache Hudi 1.0.2, Apache Iceberg 1.10.0 и Delta Lake 3.3.2. Кроме того, в AWS Glue 5.1 представлена поддержка формата Apache Iceberg версии 3.0, добавлены значения столбцов по умолчанию, векторы удаления для таблиц в режиме слияния при чтении (merge-on-read), преобразования с несколькими аргументами и отслеживание происхождения строк. С этого выпуска детализированный контроль доступа AWS Lake Formation распространяется на операции записи (как DML, так и DDL) для Spark DataFrames и Spark SQL. Ранее область его применения была ограничена операциями чтения. AWS Glue 5.1 теперь также поддерживает управление доступом на уровне всей таблицы в Apache Spark для таблиц Apache Hudi и Delta Lake, что позволяет реализовать более комплексные сценарии защиты данных.
Благодаря этому расширению сервис AWS Glue 5.1 теперь доступен во всех коммерческих регионах AWS и регионах AWS GovCloud (США)
Начать работу с AWS Glue 5.1 можно с помощью API-интерфейсов AWS, интерфейса командной строки AWS (AWS CLI), пакета средств разработки ПО (SDK) AWS или AWS Glue Studio. Чтобы узнать больше, посетите страницу продукта AWS Glue и ознакомьтесь с нашей документацией.