Veröffentlicht am: Oct 31, 2022
Amazon EMR Version 6.8 unterstützt jetzt Apache Hudi 0.11.1 und Apache Iceberg 0.14.0. Sie können diese Frameworks auf Amazon EMR auf EC2 und Amazon EMR auf EKS sowie auf Amazon EMR Serverless verwenden.
Apache Hudi 0.11.1 auf Amazon EMR 6.8 umfasst Unterstützung für Spark 3.3.0, fügt Unterstützung für multimodale Indizes und Data Skipping mit der Metadatentabelle hinzu, die das Hinzufügen von Bloom-Filter- und Spaltenstatistik-Indizes zu Tabellen ermöglicht (was die Abfrageleistung erheblich verbessern kann), fügt einen Async-Indexer-Service hinzu, der es Benutzern ermöglicht, verschiedene Arten von Indizes (z. B. Dateien, Bloom-Filter und Spaltenstatistiken) in der Metadatentabelle zu erstellen, ohne die Ingestion zu blockieren, enthält Spark-SQL-Verbesserungen mit Unterstützung für das Aktualisieren oder Löschen von Datensätzen in Hudi-Tabellen unter Verwendung von Nicht-Primärschlüsselfeldern und Zeitreiseabfragen über Zeitstempel als Syntax, enthält Verbesserungen der Flink-Integration mit Unterstützung für Flink 1.13.x und 1.14.x und Unterstützung für komplexe Datentypen wie Map und Array usw. Darüber hinaus enthält Hudi 0.11.1 Fehlerkorrekturen gegenüber Hudi 0.11.0, das in Amazon EMR Release 6.7 verfügbar ist. Weitere Details finden Sie in den OSS Hudi-Veröffentlichungsdokumenten.
Apache Iceberg 0.14.0 auf Amazon EMR 6.8 enthält Unterstützung für Spark 3.3.0, fügt Merge-on-Read-Unterstützung für MERGE- und UPDATE-Anweisungen hinzu, fügt Unterstützung für das Umschreiben von Partitionen mithilfe von Z-Order hinzu, die es ermöglicht, Partitionen neu zu organisieren, um mit Abfrageprädikaten auf mehreren Spalten effizient zu sein und auch ähnliche Daten zusammenzuhalten, enthält mehrere Leistungsverbesserungen für die Scan-Planung in Spark-Abfragen, fügt Unterstützung für das Überspringen von Zeilengruppen mithilfe von Parquet-Bloom-Filtern hinzu, usw. Weitere Details finden Sie in den OSS Iceberg-Veröffentlichungsdokumenten.
Amazon EMR Version 6.8 ist allgemein in allen Regionen verfügbar, in denen Amazon EMR verfügbar ist. Weitere Informationen finden Sie unter Regionale Verfügbarkeit von Amazon EMR und in unseren Versionshinweisen.