发布于: Nov 6, 2018

现在,您可以在 Amazon EMR 版本 5.18.0 上使用 Apache Flink 1.6.0、Apache Zeppelin 0.8.0 和 S3 Select with Apache Hive 及 S3 Select with Presto。Flink 1.6.0 增加了一些新功能和更新,包括对状态 TTL 的原生支持以及对基于 HTTP/REST 的作业提交功能的支持,前者让您能够控制对 Flink 状态的访问,而后者允许您更好地与集群上的容器环境集成。它还包含对 SQL 和 Table API 的几项改进,可简化流式传输和批量查询的执行,并增加了对 Avro 数据格式的 SQL 支持。Zeppelin 0.8.0 支持在 Apache Hadoop YARN 集群模式下运行 Spark 解释器,支持 Ipython 解释器,并能够使用 Apache HDFS 作为后端存储来保存和读取 Zeppelin 笔记本文件。

借助 EMR 版本 5.18.0,您现在可以使用 S3 Select with Hive 和 S3 Select with Presto。S3 Select 让应用程序能够仅从存储在 Amazon S3 中的对象检索数据子集。这样可以提高性能,因为它可以减少运行 Hive 和 Presto 查询时需要传输到 EMR 集群并由 EMR 集群处理的数据量。要详细了解这些功能,请访问 S3 Select with HiveS3 Select with Presto 页面。

此外,借助此版本,您还可以使用 Apache Spark 2.3.2、Apache HBase 1.4.7 和 Presto 0.210 的升级版本。

您可以通过从 AWS 管理控制台、AWS CLI 或软件开发工具包中选择版本标签“emr-5.18.0”来创建包含版本 5.18.0 的 Amazon EMR 集群。启动 EMR 集群时,您可以选择 Flink、HBase、Presto 和 Zeppelin 来安装这些应用程序。有关 EMR release 5.18.0Flink 1.6.0HBase 1.4.7Spark 2.3.2Presto 0.210Zeppelin 0.8.0 的更多信息,请参阅 Amazon EMR 文档。

Amazon EMR 版本 5.18.0 现已在所有支持 Amazon EMR 的区域推出。

您可以订阅 EMR 发行说明的 RSS 源,以了解有关 EMR 版本的最新信息。请使用 EMR 版本指南顶部的 RSS 图标,将源 URL 直接链接至您最喜欢的源阅读器。