Veröffentlicht am: Dec 22, 2017
Sie können jetzt Apache Spark 2.2.1, Apache Hive 2.3.2 und die Amazon SageMaker-Integration mit Apache Spark auf Amazon EMR Version 5.11.0 verwenden. Spark 2.2.1 und Hive 2.3.2 enthalten mehrere Fehlerkorrekturen und Verbesserungen. Amazon SageMaker Spark ist eine als Open Source bereitgestellte Spark-Bibliothek für Amazon SageMaker, einen vollständig verwalteten Service, der Machine Learning-Modelle jeder Größenordnung erstellen zu trainieren und bereitstellen kann. Sie ermöglicht Ihnen, Spark-Stufen und Stufen, die mit Amazon SageMaker interagieren, in Ihren Spark ML Pipelines überlappend zuzulassen, sodass Sie Modelle mit Spark DataFrames in Amazon SageMaker mit von Amazon bereitgestellten ML-Algorithmen trainieren können, wie beispielsweise K-Means-Clustering oder XGBoost.
Sie können einen Amazon EMR-Cluster mit Version 5.11.0 erstellen, indem Sie in der AWS-Managementkonsole, AWS CLI oder SDK die Versionsbezeichnung "emr-5.11.0" auswählen. Sie können Spark und Hive auswählen, um diese Anwendungen in Ihrem Cluster zu installieren. Die Amazon SageMaker Spark-Bibliothek ist automatisch enthalten, wenn Sie Spark installieren. Weitere Informationen über Version 5.11.0, Spark 2.2.1, Hive 2.3.2 und die Verwendung von Amazon SageMaker mit Spark finden Sie in der Amazon EMR-Dokumentation.
Amazon EMR-Version 5.11.0 ist in allen unterstützten Regionen für Amazon EMR verfügbar.