发布于: Oct 14, 2021

Amazon EMR 6.4 发行版现在支持 Apache Spark 3.1.2,并通过适用于 Apache Spark 的 Amazon EMR Runtime 改善了运行时性能。Amazon EMR 6.4 为 PrestoDB 0.254 改善了 Presto 运行时性能,并在元数据仓使用 AWS Glue 数据目录时为 Apache Hive 3.1.2 改善了运行时性能。

Amazon EMR 6.4 支持 Apache Hudi 0.8.0、Trino 359、PrestoDB 0.254、Apache HBase 2.4.4、Apache Phoenix 5.1.2、Apache Flink 1.13.1、Apache Livy 0.7.1、JupyterHub 1.4.1、Apache Zookeeper 3.5.7 和 Apache MXNet 1.8.0。请参阅我们的发布指南了解详情。

从 Amazon EMR 发行版 5.30 和 6.1 及更高版本开始,您现在可以自动终止空闲的 Amazon EMR 集群。这有助于您在不监控集群活动的情况下以最大程度降低成本。要开始使用,请在此处阅读我们的文档。

Amazon EMR Studio 现支持在同一个基于 Jupyter 的笔记本中使用多种语言来处理 Spark 工作负载。要了解详情,请参阅我们的文档。除了 AWS Single Sign-On 之外,您现在还可使用基于 IAM 的身份验证或 IAM 联合身份验证来验证 Amazon EMR Studio 用户。您可以在此处了解详情。

Amazon EMR 6.4 包括 Hudi 0.8.0,它允许您使用多个应用程序同时写入同一个 Hudi 表。您可以在此处找到有关 Hudi 0.8.0 功能的更多详细信息。 您现在可以向 Amazon CloudWatch 报告 Hudi 指标,并使用 EMR 配置 API 和重新配置功能在集群级别设置 Hudi 配置。

Amazon EMR 6.4 现在支持 Spark SQL 在支持 Apache Ranger 的 Amazon EMR 集群上写入和更新 Apache Hive 元数据表。要了解详情,请参阅我们的文档

从 Amazon EMR 发行版 5.7 及更高版本开始,您现在可以使用多个自定义 Amazon Machine Image (AMI) 创建集群。您可以在同一集群中同时包括 AWS Graviton 和非 AWS Graviton 实例。有关更多信息,请阅读我们的文档。 Amazon EMR 6.4 已在提供 Amazon EMR 的所有区域正式发布。有关更多详细信息,请参阅 Amazon EMR 区域可用性和我们的发布说明