Veröffentlicht am: Apr 9, 2020
Wir freuen uns, Amazon EMR-Version 6.0.0 mit Support für neue Hauptversionen von Hadoop, Hive, HBase, Amazon Linux 2 sowie Support für das Bündeln von Spark-Umgebungsabhängigkeiten mit Docker anzukündigen.
Spark-Benutzer können nun Docker-Images von Docker Hub und Amazon Elastic Container Registry (Amazon ECR) mit EMR-Version 6.0.0 verwenden, um Umgebungs- und Bibliotheksabhängigkeiten zu definieren. Mit Docker können Sie Ihre Python- und R-Abhängigkeiten leicht für einzelne Aufgaben bündeln, sodass Abhängigkeiten von einzelnen Clusterhosts nicht installiert werden müssen. Weitere Informationen zur Verwendung von Docker mit EMR 6.0.0 finden Sie in unserem EMR-Managementhandbuch im Kapitel Konfigurieren von Docker und in unserem Blogbeitrag, wie Sie Ihr Spark-Abhängigkeitsmanagement mit Docker vereinfachen können.
Hive-Benutzer können jetzt Hive Live Long and Process (LLAP) mit EMR-Version 6.0.0 verwenden, was eine 2-fache Leistungsbeschleunigung gegenüber EMR 5.29 mit bis zu 10-facher Verbesserung einzelner Hive TPC-DS-Abfragen* bietet. Hive LLAP ist ein neues Ausführungsmodell in Hive, das persistente Dämonen mit dynamischer Zwischenspeicherung im Arbeitsspeicher verwendet, um die Abfrageausführung zu beschleunigen. Weitere Informationen zum Aktivieren von Hive LLAP finden Sie in unserer Dokumentation zur Verwendung von Hive LLAP und in unserem Blogbeitrag, um zu erfahren, warum Apache Hive mit Hive LLAP auf EMR 6.0.0 2-fach schneller ist.
EMR-Version 6.0.0 bietet neue Hauptversionen von Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 und die EMR-Laufzeit für Apache Spark 2.4.4 mit Support für Scala 2.12. EMR-Version 6.0.0 basiert auf Amazon Linux 2 und Amazon Corretto JDK 8. Amazon Linux 2 ist die neueste Generation des Amazon Linux Serverbetriebssystems und bietet neue System-Tools wie das System-basierte init-System und den leistungsgesteigerten Amazon Linux LTS Kernel. Amazon Corretto JDK 8 bietet ein Java SE-zertifiziertes kompatibles JDK, das langfristigen Support, Leistungssteigerungen und Sicherheitskorrekturen umfasst. Weitere Informationen zu allen EMR-Anwendungen, die in EMR-Version 6.0.0 aktualisiert wurden, finden Sie in unseren Versionshinweisen.
Amazon EMR-Version 6.0.0 ist nun in allen Regionen, in denen Amazon EMR unterstützt wird, verfügbar.
Bleiben Sie bezüglich der neuesten EMR-Versionen auf dem neuesten Stand, indem Sie den Feed für EMR-Versionshinweise abonnieren. Verknüpfen Sie die Feed-URL über das Symbol oben im EMR Release Guide direkt mit Ihrem bevorzugten Feed-Reader.
* Basierend auf einem 3-TB-TPC-DS-Vergleichstest im Vergleich zu EMR 5.29.0 mit EMR 6.0.0.