Знакомство с AWS Glue 5.0

Проведено: 3 дек. 2024 г.

Мы рады объявить о выходе общедоступной версии AWS Glue 5.0. С AWS Glue 5.0 вы получаете более высокую производительность и уровень безопасности, поддержку Amazon Sagemaker Unified Studio и Sagemaker Lakehouse и многое другое. AWS Glue 5.0 позволяет разрабатывать, запускать и масштабировать рабочие нагрузки интеграции данных и быстрее получать аналитику.

AWS Glue – это бессерверный масштабируемый сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из нескольких источников. В AWS Glue 5.0 движки были обновлены до Apache Spark 3.5.2, Python 3.11 и Java 17 с соответствующими улучшениями производительности и безопасности. В Glue 5.0 обновились поддерживаемые открытые форматы таблиц: Apache Hudi 0.15.0, Apache Iceberg 1.6.1 и Delta Lake 3.2.0. Это позволяет решать сложные задачи, связанные с производительностью, стоимостью, управлением и конфиденциальностью при использовании озер данных. В AWS Glue 5.0 появляется встроенная в Spark точная настройка управления доступом через AWS Lake Formation, позволяющая применять разрешения на уровне таблиц, столбцов, строк и ячеек в озерах данных Amazon S3. И наконец, в Glue 5.0 появилась поддержка Sagemaker Lakehouse для объединения всех данных в озерах данных Amazon S3 и хранилищах данных Amazon Redshift.

Сервис AWS Glue 5.0 является общедоступным в следующих регионах: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Ирландия, Лондон, Стокгольм, Франкфурт), Азиатско-Тихоокеанский регион (Гонконг, Сеул, Сингапур, Сидней, Токио), Канада (Центральная) и Южная Америка (Сан-Паулу).

Чтобы узнать больше, посетите страницу продукта AWS Glue и ознакомьтесь с документацией.