投稿日: Oct 14, 2021
Amazon EMR 6.4 リリースバージョンは Apache Spark 3.1.2 をサポートするようになりました。これにより、Amazon EMR Runtime for Apache Spark でランタイムパフォーマンスが向上します。Amazon EMR 6.4 は、PrestoDB 0.254 の Presto ランタイムの改善と、メタストアのために AWS Glue Data Catalog を使用する場合の Apache Hive 3.1.2 のランタイムの改善を提供します。
Amazon EMR 6.4 は、 Apache Hudi 0.8.0、Trino 359、PrestoDB 0.254、Apache HBase 2.4.4、Apache Phoenix 5.1.2、Apache Flink 1.13.1、Apache Livy 0.7.1、JupyterHub 1.4.1、Apache Zookeeper 3.5.7、および Apache MXNet 1.8.0 をサポートします。詳細については、リリースガイドを参照してください。
Amazon EMR リリースバージョン 5.30 および 6.1 以降では、アイドル状態の Amazon EMR クラスターを自動的に終了できるようになりました。これは、クラスターアクティビティをモニタリングすることなく、コストを最小限に抑えるのに役立ちます。使用を開始するには、こちらのドキュメントをお読みください。
Amazon EMR 6.4 には Hudi 0.8.0 が含まれているため、複数のアプリケーションを使用して同じ Hudi テーブルに同時に書き込むことができます。Hudi 0.8.0 の機能の詳細については、こちらをご覧ください。 Hudi Metrics を Amazon CloudWatch にレポートし、EMR 設定 API と再設定機能を使用してクラスターレベルで Hudi 設定を行うことができるようになりました。
Amazon EMR 6.4 は、Apache Ranger 対応の Amazon EMR クラスターで Apache Hive メタデータテーブルに書き込んだり、更新したりするために Spark SQL をサポートするようになりました。詳細については、ドキュメントを参照してください。
Amazon EMR リリースバージョン 5.7 以降では、複数のカスタム Amazon マシンイメージ (AMI) を使用してクラスターを作成できるようになりました。AWS Graviton インスタンスと非 AWS Graviton インスタンスの両方を同じクラスターに含めることができます。詳細については、ドキュメントをお読みください。 EMR 6.4 は、Amazon EMR が提供されているすべてのリージョンで一般的にご利用いただけます。詳細については、Amazon EMR のリージョンごとの利用可否とリリースノートを参照してください。