投稿日: Dec 15, 2023
EC2 クラスターでの高可用性 EMR がインスタンスフリート設定でも利用できるようになりました。高可用性インスタンスフリートの EMR クラスターには 3 つのオンデマンドプライマリノードがあり、YARN Resource Manager、HDFS Name Node、Spark などの Hadoop アプリケーションがサポートされます。1 つのプライマリノードに障害が発生した場合、または Yarn Resource Manager や NameNode などの重要なプロセスがクラッシュした場合は、EMR がクラスター内の残りのプライマリノードのいずれかにフェイルオーバーします。
Amazon EMR は、Apache Spark、Presto と Trino、Apache Flink などのオープンソースフレームワークを使用して、データ処理、インタラクティブ分析、機械学習を行うための、クラウドビッグデータプラットフォームです。EMR は複数のプライマリノードをサポートしているため、クラスターで単一障害点が発生する可能性がなくなります。これにより、耐障害性が向上し、クラスターの運用が中断されなくなります。今回のリリースにより、高可用性 EMR クラスターでのインスタンスフリート設定のインスタンス多様性が向上します。
お客様は、Amazon EMR バージョン 5.36.1、6.8.1、6.9.1、6.10.1、6.11.1、6.12 以降で高可用性インスタンスフリートクラスターを起動できるようになりました。この機能は、EC2 での Amazon EMR が提供されているすべてのリージョンで利用可能です。サポートされているアプリケーションとそのフェイルオーバープロセスの詳細については、こちらのドキュメントを参照してください。EC2 クラスターで高可用性 EMR を起動するには、「プライマリノードの計画と設定」をご覧ください。