張貼日期: Apr 9, 2020

我們非常興奮地宣佈推出 Amazon EMR 6.0.0 版,包含對 Hadoop、Hive、HBase、Amazon Linux 2 新的主要版本及 Docker 的支援,以及支援使用 Docker 封裝 Spark 環境相依項。 

Spark 使用者現在可使用 EMR 6.0.0 版,透過 Docker HubAmazon Elastic Container Registry (Amazon ECR) 中的 Docker 影像定義環境和程式庫相依項。使用 Docker,您可以輕鬆針對個別任務封裝 Python 和 R 相依項,而無需在個別叢集主機上安裝相依項。如需有關搭配使用 Docker 和 EMR 6.0.0 的詳細資料,請參閱有關如何設定 Docker 的 EMR 管理指南部分和我們有關如何利用 Docker 簡化 Spark 相依性管理的部落格文章。 

Hive 使用者現在可將 Hive Live Long 和 Process (LLAP) 與 EMR 6.0.0 版搭配使用,從而提供比 EMR 5.29 快 2 倍的效能加速,且 Hive TPC-DS 查詢效能提升 10 倍*。Hive LLAP 是 Hive 中的一種新執行模型,其採用一致的精靈和動態記憶體內快取來加快查詢執行。如需有關如何啟用 Hive LLAP 的詳細資料,請參閱我們有關使用 Hive LLAP 的文件和部落格,以了解為何 Apache Hive 的速度比 EMR 6.0.0 上的 Hive LLAP 快兩倍

EMR 6.0.0 版提供 Apache Hadoop 3.2.1、Apache Hive 3.1.2、Apache HBase 2.2.3、Apache Phoenix 5.0.0 的新主要版本、Apache Spark 2.4.4 的 EMR 執行階段,以及對 Scala 2.12 的支援。EMR 6.0.0 版構建於 Amazon Linux 2 和 Amazon Corretto JDK 8 之上。Amazon Linux 2 是最新一代的 Amazon Linux 伺服器作業系統,提供新的系統工具,如 systemd init 系統,和效能調校的 Amazon Linux LTS 核心。Amazon Corretto JDK 8 提供 Java SE 認證的相容 JDK,包括長期支援、效能增強和安全修正程式。如需有關 EMR 6.0.0 版中更新的所有 EMR 應用程式的詳細資料,請參閱版本備註

Amazon EMR 6.0.0 版現已在所有支援 Amazon EMR 的區域提供。 

您可以訂閱 EMR 版本備註摘要,以取得 EMR 版本的最新資訊。請使用 EMR 版本指南頂端的圖示,將摘要 URL 直接連結到您喜愛的摘要閱讀器。 

* 依據 3TB TPC-DS 基準比較 EMR 5.29.0 和 EMR 6.0.0。