发布于: Oct 6, 2021

我们宣布推出在与 Apache Ranger 结合使用 Amazon EMR 集成时,支持使用 Apache Spark SQL 更新 Apache Hive 原数据表。

今年一月,我们发布了 Amazon EMR 与 Apache Ranger 的集成,该功能可在 Apache Spark 用户通过 Hive Metastore 访问 Amazon S3 中的数据时,用于定义和实施数据库、表和列级权限。以前,启用 Apache Ranger 后,只能使用 SHOW DATABASES 和 DESCRIBE TABLE 等 Spark SQL 语句读取数据。现在,您可以使用以下语句将数据插入 Apache Hive 元数据表和对其进行更新:INSERT INTO、INSERT OVERWRITE 和 ALTER TABLE。

该功能现已在以下 AWS 区域的 Amazon EMR 6.4 中推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、欧洲(米兰)、欧洲(斯德哥尔摩)、加拿大(中部)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(香港)、亚太地区(东京)、亚太地区(悉尼)、南美洲(圣保罗)、中东(巴林)和非洲(开普敦)。

开始使用之前,请参阅以下资源列表:        

AWS 大数据博客文章: 

Amazon EMR 管理指南: