インスタンスフリートの再構成により、実行中の EMR クラスターを動的に更新する
Amazon EMR on EC2 では、クラスターの終了や再起動を必要とせずに、EMR インスタンスフリートのアプリケーション設定をリアルタイムで更新できるようになりました。この機能により、お客様はSpark エグゼキューターメモリ、YARN のリソース割り当て、HDFS 設定などのアプリケーション構成を実行中のクラスター上でシームレスに動的に調整できるようになり、ワークロードの中断を最小限に抑えることができます。これは、最適なリソース使用率を確保しながら、データ処理とジョブのパフォーマンス要件に合わせてリソース割り当てを調整し、アプリケーションを微調整する場合に特に役立ちます。
Amazon EMR は、Apache Spark、Apache Flink、Trino などのオープンソースフレームワークを使用して、データ処理、インタラクティブ分析、機械学習を行うための、クラウドビッグデータプラットフォームです。以前は、新しい設定でインスタンスフリートクラスターを終了して再起動する必要がありました。このプロセスにより、ダウンタイム、運用上の労力の増加、ワークフローの調整の遅延が発生しました。再構成がサポートされたことで、EMR はクラスターの安定性とリソースの可用性を確保しながら、更新された構成をクラスターノードに定期的に動的に適用します。Amazon CloudWatch イベントと EMR イベントを介してお客様に通知を提供します。障害が発生した場合や更新に互換性がない場合、EMR は変更をロールバックして、クラスターの動作を維持します。更新プロセス中も引き続きクラスターでワークロードを実行できます。
この機能は、AWS CLI または API を使用して EMR 5.21 以降のすべてのリリースで利用できます。この機能は、Amazon EMR on EC2 が利用可能な、AWS GovCloud (米国) リージョンを含む、すべての AWS リージョンで一般提供されています。詳細については、こちらのドキュメントを参照してください。