发布于: Dec 22, 2017
现在，您可以在 Amazon EMR 版本 5.11.0 上使用 Apache Spark 2.2.1、Apache Hive 2.3.2 以及与 Apache Spark 集成的 Amazon SageMaker。Spark 2.2.1 和 Hive 2.3.2 包含各种错误修复和功能改进。Amazon SageMaker Spark 是用于 Amazon SageMaker 的开源 Spark 库。Amazon SageMaker 是一项完全托管的服务，能够大规模构建、训练和部署机器学习模型。您可以使用它交错放置 Spark 阶段以及在您的 Spark ML 管道中与 Amazon SageMaker 交互的阶段，允许您在 Amazon SageMaker 中通过 Amazon 提供的 ML 算法 (如 K-Means 集群或 XGBoost) 使用 Spark DataFrames 训练模型。
您可以通过从 AWS 管理控制台、AWS CLI 或软件开发工具包中选择版本标签“emr-5.11.0”来创建包含版本 5.11.0 的 Amazon EMR 群集。您可以选择 Spark 和 Hive 以在您的集群中安装这些应用程序。您在安装 Spark 时将自动包含 Amazon SageMaker Spark 库。有关版本 5.11.0、Spark 2.2.1、Hive 2.3.2 和将 Amazon SageMaker 与 Spark 结合使用的更多信息，请访问 Amazon EMR 文档。
Amazon EMR 版本 5.11.0 在所有支持 Amazon EMR 的区域提供。