Veröffentlicht am: Nov 6, 2018
Sie können jetzt Apache Flink 1.6.0, Apache Zeppelin 0.8.0 und S3 Select mit Apache Hive und Presto in der Amazon EMR-Version 5.18.0 verwenden. Flink 1.6.0 bietet mehrere neue Funktionen und Updates, darunter die native Unterstützung von State TTL, mit der Sie den Zugriff auf Flink-Zustände steuern können, und die Unterstützung von HTTP/REST-basierten übermittelten Aufträgen, die eine bessere Integration mit Containerumgebungen im Cluster ermöglichen. Es enthält auch mehrere Verbesserungen der SQL und Table API, die die Ausführung von Streaming- und Batch-Abfragen vereinfachen und SQL-Unterstützung für das Avro-Datenformat hinzufügen. Zeppelin 0.8.0 bietet Unterstützung für den Betrieb des Spark-Interpreters im Apache Hadoop YARN Cluster-Modus, Unterstützung für den Ipython-Interpreter und die Möglichkeit, Apache HDFS als Backend-Speicher zum Speichern und Lesen von Zeppelin-Notebook-Dateien zu verwenden.
Mit EMR-Version 5.18.0 können Sie jetzt S3 Select mit Hive und Presto verwenden. S3 Select ermöglicht es Anwendungen, nur eine Teilmenge von Daten aus einem in Amazon S3 gespeicherten Objekt abzurufen. Dies beschleunigt die Leistung, da es die Datenmenge reduziert, die beim Ausführen von Hive- und Presto-Abfragen an den EMR-Cluster übertragen und vom EMR-Cluster verarbeitet werden muss. Auf den Seiten S3 Select mit Hive und S3 Select mit Presto erhalten Sie weitere Informationen zu diesen Funktionen.
Mit dieser Versionen können Sie zudem die aktualisierten Versionen von Apache Spark 2.3.2, Apache HBase 1.4.7 und Presto 0.210 verwenden.
Sie können einen Amazon EMR-Cluster mit der Version 5.18.0 erstellen, indem Sie in der AWS-Management-Konsole, AWS CLI oder SDK die Versionsbezeichnung „emr-5.18.0“ auswählen. Sie können Flink, HBase, Presto und Zeppelin auswählen, um diese Anwendungen beim Start Ihres EMR-Clusters zu installieren. Weitere Informationen zur EMR-Version 5.18.0, Flink 1.6.0, HBase 1.4.7, Spark 2.3.2, Presto 0.210 und Zeppelin 0.8.0.finden Sie in der Amazon EMR-Dokumentation.
Die Amazon EMR-Version 5.18.0 ist jetzt in allen unterstützten Regionen für Amazon EMR verfügbar.
Bleiben Sie bezüglich der neuesten EMR-Versionen auf dem neuesten Stand, indem Sie den RSS-Feed für EMR-Versionshinweise abonnieren. Nutzen Sie das RSS-Symbol oben im EMR Release Guide, um die Feed-URL direkt mit Ihrem bevorzugten Feed-Reader zu verknüpfen.