推出 AWS Glue 5.1
AWS Glue 5.1 现已全面推出,提供更高的性能、安全更新、扩展的 Apache Iceberg 功能以及针对数据集成工作负载的 AWS Lake Formation 写入支持。
AWS Glue 是一项无服务器、可扩展的数据集成服务,可以简化发现、准备、移动和集成来自多个来源的数据的工作。此次发布的功能将核心引擎升级到 Apache Spark 3.5.6、Python 3.11 和 Scala 2.12.18,从而增强了性能和安全性。这项功能还更新了对开放表格式库的支持,包括 Apache Hudi 1.0.2、Apache Iceberg 1.10.0 和 Delta Lake 3.3.2。
AWS Glue 5.1 支持 Apache Iceberg 格式版本 3.0,新增默认列值、读取时合并表的删除向量、多参数转换和行级谱系跟踪功能。这项功能还将 AWS Lake Formation 的精细访问控制扩展至 Spark DataFrames 和 Spark SQL 的写入操作(包括 DML 和 DDL)。以前,该功能仅适用于读取操作。AWS Glue 5.1 还在 Apache Spark 中为 Apache Hudi 和 Delta Lake 表新增了全表访问控制,为您的数据提供了更全面的安全选项。
AWS Glue 5.1 已在以下区域推出:美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(俄勒冈州)、欧洲地区(爱尔兰)、欧洲地区(斯德哥尔摩)、欧洲地区(法兰克福)、欧洲(西班牙)、亚太地区(香港)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、亚太地区(马来西亚)、亚太地区(泰国)、亚太地区(孟买)和南美洲(圣保罗)。请访问 AWS Glue 文档,以了解更多信息。