張貼日期: Dec 22, 2017

您現在可以在 Amazon EMR 5.11.0 版本中,透過 Apache Spark 來使用 Apache Spark 2.2.1、Apache Hive 2.3.2 和 Amazon SageMaker 整合。Spark 2.2.1 和 Hive 2.3.2 包含多種錯誤修正與改良功能。Amazon SageMaker Spark 是為 Amazon SageMaker 提供的開源的 Spark 資料庫,而 Amazon SageMaker 是完整的受管服務,可大規模建置、調校及部署機器學習模型。您可以藉此交錯排序 Spark 階段以及在 ML 管線中與 Amazon SageMaker 互動的階段,允許您在 Amazon SageMaker 中,透過 Amazon-provided ML 演算法 (如 K-Means 叢集或 XGBoost) 運用 Spark DataFrames 來訓練模型。

您可以在 5.11.0 版中從 AWS 管理主控台、AWS CLI 或 SDK 選擇版本標籤「emr-5.11.0」來建立 Amazon EMR 叢集。您可以選擇 Spark 和 Hive,在您的叢集上安裝這些應用程式。當您安裝了 Spark,Amazon SageMaker Spark 資料庫就會自動包含在內。關於 5.11.0 版Spark 2.2.1Hive 2.3.2 以及透過 Spark 使用 Amazon SageMaker,詳細資訊請瀏覽 Amazon EMR 文件。

Amazon EMR 5.11.0 版已在所有支援 Amazon EMR 的區域提供。