Veröffentlicht am: Sep 20, 2018
Sie können jetzt TensorFlow 1.9.0, das beliebte Machine-Learning- und Deep-Learning-Framework, sowie S3 Select mit Apache Spark auf Amazon EMR Version 5.17.0 verwenden. Tensorflow-Bibliotheken können mit BIg-Data-Verarbeitungs-Engine wie Spark auf EMR verwendet werden, um den Modell-Trainingsprozess durch Parallelisierung der Abstimmung von Trainingsparametern zu beschleunigen. Das trainierte Modell kann dann auf alle Knoten des Clusters verteilt werden, um verteilte Inferenz großer Datenmengen durchzuführen, die für einen einzelnen Knoten zu groß sind. TensorFlow auf EMR wird mit TensorBoard geliefert, einem Visualisierungs-Tool, mit dem Sie den Fluss von Tensor-Graphs in Echtzeit visualisieren und debuggen, die Auswirkungen Ihrer Design-Entscheidungen nachvollziehen und Ihr Modell weiter optimieren könnenl. TensorFlow-Builds auf EMR variieren abhängig vom Instanzentyp, den Sie für Ihren Cluster verwenden.
Mit EMR-Version 5.17.0 können Sie S3 Select mit Spark verwenden. Mit diesem Feature kann Ihre Spark-Anwendung selektiv ein Subset von Daten aus einem großen Objekt in S3 abfragen. Damit wird die Leistung durch Reduzierung der Datenmengen, die an den EMR-Cluster übertragen und von ihm verarbeitet werden müssen, beschleunigt. Darüber hinaus können Sie JupyterHub auf EMR konfigurieren, um Notebooks direkt auf S3 dauerhaft zu speichern. Auch können Sie die aktualisierten Versionen von Apache Flink 1.5.2, Apache HBase 1.4.6 und Presto 0.206 verwenden.
Sie können einen Amazon EMR-Cluster mit der Version 5.17.0 erstellen, indem Sie in der AWS-Management-Konsole, AWS CLI oder SDK die Versionsbezeichnung „emr-5.17.0“ auswählen. Sie können TensorFlow, Flink und Presto auswählen, um diese Anwendungen beim Start Ihres EMR-Clusters zu installieren. Bitte besuchen Sie die Amazon EMR-Dokumentation für weitere Informationen über die EMR-Version 5.17.0, TensorFlow 1.9.0, S3 Select mit Spark, Flink 1.5.2, HBase 1.4.6, und Presto 0.206.
Die Amazon EMR-Version 5.17.0 ist jetzt in allen unterstützten Regionen für Amazon EMR verfügbar.
Bleiben Sie bezüglich der neuesten EMR-Versionen auf dem neuesten Stand, indem Sie den Feed für EMR-Versionshinweise abonnieren. Nutzen Sie das RSS-Symbol oben im EMR Release Guide, um die Feed-URL direkt mit Ihrem bevorzugten Feed-Reader zu verknüpfen.