張貼日期: Sep 20, 2018

您現在可以在 Amazon EMR 版本 5.17.0 上使用熱門的機器和深度學習架構 TensorFlow 1.9.0 以及 S3 Select 搭配 Apache Spark。Tensorflow 程式庫可與 EMR 上的 Spark 等大數據處理引擎結合,透過並行處理訓練參數的調校,以加速模型訓練程序。然後經過訓練的模型可以散播到叢集的所有節點,在單一節點無法執行的大量資料上執行分散式推論。EMR 上的 TensorFlow 以視覺化工具 TensorBoard 進行封裝,可協助您即時視覺化和偵錯張量圖的流程、了解您設計選擇的效果,並進一步優化模型。TensorFlow 建立在 EMR 上會依叢集使用的執行個體類型而有所不同。

透過 EMR 版本 5.17.0,您可以使用 S3 Select 搭配 Spark。這個功能可讓您的 Spark 應用程式選擇性的從 S3 中的大型物件查詢資料子集。透過減少需要傳輸到 EMR 叢集和進行處理的資料量,可提升效能。此外,推出這個功能之後,您可以在 EMR 上設定 JupyterHub,直接將筆記本儲存和保留在 S3。您也可以使用升級版本的 Apache Flink 1.5.2、Apache HBase 1.4.6 和 Presto 0.206。

您可以在 5.17.0 版中從 AWS 管理主控台、AWS CLI 或 SDK 選擇版本標籤 "emr-5.17.0",建立 Amazon EMR 叢集。啟動 EMR 叢集時,您可以選取 TensorFlow、Flink、HBase 和 Presto 以安裝這些應用程式。如需有關 EMR 版本 5.17.0TensorFlow 1.9.0S3 Select 搭配 SparkFlink 1.5.2HBase 1.4.6Presto 0.206 的詳細資訊,請瀏覽 Amazon EMR 文件。

Amazon EMR 版本 5.17.0 現已在所有支援 Amazon EMR 的區域提供。

您可以訂閱 EMR 版本備註摘要,以取得 EMR 版本的最新資訊。請使用 EMR Release Guide 頂端的 RSS 圖示,將摘要 URL 直接連結到您喜愛的摘要閱讀器。