发布于: Nov 6, 2018
现在,您可以在 Amazon EMR 版本 5.18.0 上使用 Apache Flink 1.6.0、Apache Zeppelin 0.8.0 和 S3 Select with Apache Hive 及 S3 Select with Presto。Flink 1.6.0 增加了一些新功能和更新,包括对状态 TTL 的原生支持以及对基于 HTTP/REST 的作业提交功能的支持,前者让您能够控制对 Flink 状态的访问,而后者允许您更好地与集群上的容器环境集成。它还包含对 SQL 和 Table API 的几项改进,可简化流式传输和批量查询的执行,并增加了对 Avro 数据格式的 SQL 支持。Zeppelin 0.8.0 支持在 Apache Hadoop YARN 集群模式下运行 Spark 解释器,支持 Ipython 解释器,并能够使用 Apache HDFS 作为后端存储来保存和读取 Zeppelin 笔记本文件。
借助 EMR 版本 5.18.0,您现在可以使用 S3 Select with Hive 和 S3 Select with Presto。S3 Select 让应用程序能够仅从存储在 Amazon S3 中的对象检索数据子集。这样可以提高性能,因为它可以减少运行 Hive 和 Presto 查询时需要传输到 EMR 集群并由 EMR 集群处理的数据量。要详细了解这些功能,请访问 S3 Select with Hive 和 S3 Select with Presto 页面。
此外,借助此版本,您还可以使用 Apache Spark 2.3.2、Apache HBase 1.4.7 和 Presto 0.210 的升级版本。
您可以通过从 AWS 管理控制台、AWS CLI 或软件开发工具包中选择版本标签“emr-5.18.0”来创建包含版本 5.18.0 的 Amazon EMR 集群。启动 EMR 集群时,您可以选择 Flink、HBase、Presto 和 Zeppelin 来安装这些应用程序。有关 EMR release 5.18.0、Flink 1.6.0、HBase 1.4.7、Spark 2.3.2、Presto 0.210 和 Zeppelin 0.8.0 的更多信息,请参阅 Amazon EMR 文档。
Amazon EMR 版本 5.18.0 现已在所有支持 Amazon EMR 的区域推出。
您可以订阅 EMR 发行说明的 RSS 源,以了解有关 EMR 版本的最新信息。请使用 EMR 版本指南顶部的 RSS 图标,将源 URL 直接链接至您最喜欢的源阅读器。