投稿日: Dec 22, 2017
Amazon EMR リリース 5.11.0 で、Apache Spark 2.2.1、Apache Hive 2.3.2、および Amazon SageMaker の Apache Spark への統合を使用できるようになりました。Spark 2.2.1 および Hive 2.3.2 にはさまざまなバグ修正と改善が含まれています。Amazon SageMaker Spark は Amazon SageMaker 向けのオープンソース Spark ライブラリであり、機械学習モデルを大規模に、迅速かつ簡単に構築、トレーニング、デプロイできる完全マネージド型サービスです。これを使用して Spark ステージや Spark ML パイプライン内で Amazon SageMaker とやり取りをするステージをインターリーブし、Amazon SageMaker で Spark DataFrames を使用するモデルを、K-Means クラスタリングや XGBoost など Amazon が提供する ML アルゴリズムを使用してトレーニングできます。
AWS マネジメントコンソール、AWS CLI または SDK からリリースラベル「emr-5.11.0」を選択し、リリース 5.11.0 で Amazon EMR クラスターを作成できます。クラスターでこうしたアプリケーションをインストールするため、Spark および Hive を指定できます。Spark をインストールすると、Amazon SageMaker Spark ライブラリが自動的に含まれます。リリース 5.11.0、Spark 2.2.1、Hive 2.3.2、および Spark での Amazon SageMaker の使用の詳細については、Amazon EMR ドキュメントをご覧ください。
Amazon EMR リリース 5.11.0 は、Amazon EMR がサポートされているすべてのリージョンで利用できます。