Сервис AWS Glue 5.1 теперь доступен еще в 18 регионах
Сервис AWS Glue 5.1 теперь доступен еще в 18 регионах AWS: Африка (Кейптаун), Азиатско-Тихоокеанский регион (Хайдарабад, Джакарта, Мельбурн, Осака, Сеул, Тайбэй), Канада (Калгари, Центральная), Европа (Лондон, Милан, Париж, Цюрих), Израиль (Тель-Авив), Мексика (Центральная), Ближний Восток (Бахрейн, ОАЭ) и Запад США (Северная Калифорния).
AWS Glue – это бессерверный масштабируемый сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из множества источников. Выпуск AWS Glue 5.1 содержит улучшения в области производительности и безопасности за счет обновления основных движков до версий Apache Spark 3.5.6, Python 3.11 и Scala 2.12.18. Также обновлена поддержка библиотек открытых форматов таблиц, включая Apache Hudi 1.0.2, Apache Iceberg 1.10.0 и Delta Lake 3.3.2. Кроме того, в AWS Glue 5.1 представлена поддержка формата Apache Iceberg версии 3.0, добавлены значения столбцов по умолчанию, векторы удаления для таблиц в режиме слияния при чтении (merge-on-read), преобразования с несколькими аргументами и отслеживание происхождения строк. С этого выпуска детализированный контроль доступа AWS Lake Formation распространяется на операции записи (как DML, так и DDL) для Spark DataFrames и Spark SQL. Ранее область его применения была ограничена операциями чтения. AWS Glue 5.1 теперь также поддерживает управление доступом на уровне всей таблицы в Apache Spark для таблиц Apache Hudi и Delta Lake, что позволяет реализовать более комплексные сценарии защиты данных.
С текущим расширением сервис AWS Glue 5.1 становится доступным в тридцати трех регионах AWS.
Начать работу с AWS Glue 5.1 можно с помощью API-интерфейсов AWS Glue, интерфейса командной строки AWS (AWS CLI), пакета средств разработки ПО (SDK) AWS, AWS Glue Studio или Единой студии Amazon SageMaker. Чтобы узнать больше, посетите страницу продукта AWS Glue и ознакомьтесь с нашей документацией.