AWS Glue 为 AWS Lake Formation 表提供增强的 Apache Spark 功能,同时支持完全表访问权限

发布于: 2025年6月25日

AWS Glue 现在支持在 AWS Glue 5.0 Apache Spark 作业角色对 AWS Lake Formation 注册表具有完全访问权限时从这些作业执行读写操作。此功能支持在同一 Apache Spark 应用程序中对 Apache Hive 和 Iceberg 表执行数据操作语言 (DML) 操作,包括 CREATE、ALTER、DELETE、UPDATE 和 MERGE INTO 语句。

尽管 Lake Formation 的精细访问控制 (FGAC) 能够在行、列和单元格级别提供精细的安全控制,但许多 ETL 工作负载仅需完全表访问权限。这项新功能使 AWS Glue 5.0 Spark 作业能够在授予完整表访问权限时直接读取和写入数据,从而消除了以前限制某些提取、转换和加载 (ETL) 操作的局限性。现在,您可以利用高级 Spark 功能,包括弹性分布式数据集 (RDD)、自定义库和带有 Lake Formation 表的用户定义函数 (UDF)。此外,数据团队可以在兼容模式下通过 SageMaker Unified Studio 运行复杂的交互式 Spark 应用程序,同时保留 Lake Formation 的表级安全性边界。

此功能现已在支持 AWS Glue 和 AWS Lake Formation 的所有 AWS 区域推出。要了解更多信息,请访问 AWS Glue 产品页面文档