发布于: Mar 14, 2023

Amazon EMR 很高兴宣布推出一项新功能,该功能使用户能够在 Amazon S3 数据湖上应用基于 AWS Lake Formation 的表和列级权限,以执行包含使用 Amazon EMR 步骤 API 提交的 Apache Hive 作业的写入操作(即 INSERT INTO、INSERT OVERWRITE)。此功能允许数据管理员为通过在 Amazon EMR 上运行的 Apache Hive 访问数据的客户定义和实施精细的表和列级安全。

Amazon EMR 与 AWS Lake Formation 的集成让您能够使用在 Amazon EMR 上运行的 Apache Spark 和 Apache Hive 等开源数据处理引擎定义和实施数据库、表和列级权限。在此版本之前,数据管理员可以在 EMR 上使用 Apache Hive 对只读工作负载的数据库、表和列定义和实施基于 Lake Formation 的权限。在当前版本中,您现在可以使用 Hive 写入或修改启用了 Lake Formation 的表。这意味着当您的客户运行 INSERT INTO、INSERT OVERWRITE 和 ALTER TABLE 查询时,您可以实施基于 Lake Formation 的数据库、表和列级权限。要使用基于 Lake Formation 的权限,客户必须使用 Glue Data Catalog 作为元存储。

此功能随 Amazon EMR 版本 6.10 一起提供,现可在已推出 Amazon EMR 的所有区域中用于 EC2 上的 Amazon EMR 集群。要开始使用,请参阅 Amazon EMR 文档中的将 Amazon EMR 与 AWS Lake Formation 集成部分。