投稿日: Jun 25, 2020
Amazon EMR は、Amazon EMR クラスターでスポットインスタンスをプロビジョニングするための「キャパシティー最適化」割り当て戦略の提供を開始しました。新しい「キャパシティー最適化」割り当て戦略では、スポットインスタンスが提供する大幅な割引を活用しつつ、利用可能な予備キャパシティーが最も効率的かつ自動的に使用されます。キャパシティー最適化戦略では、中断の可能性を低下させることにより、ワークロードの全体的なコストを削減できます。
キャパシティー最適化割り当て戦略では、リアルタイムのキャパシティーデータを使用して、起動しているインスタンスの数に最適なキャパシティーでスポットインスタンスプールからインスタンスを割り当てます。この割り当て戦略は、中断に伴うコストが高いワークロードに適しています。例としては、長時間実行されるジョブや、Apache Spark、Apache Hive、および Presto を実行するマルチテナントの永続的なクラスターが含まれます。
割り当て戦略では、インスタンスフリート設定でクラスターを作成するときに、タスクノードごとに最大 5 つの EC2 インスタンスタイプを指定することもできます。これにより、スポットリクエストを多様化し、大幅な割引を実現できます。
Amazon EMR は、Amazon EMR クラスターで Apache Spark および Apache Hadoop アプリケーションを実行している Amazon EC2 スポットインスタンスのグレースフル廃止など、お客様の伸縮性と回復性を向上させるいくつかの拡張機能を備えています。データの損失を防ぐために、Amazon EMR スケーリングでは、ノードを削除する前に失われる可能性のある Apache Hadoop タスクや一意のデータがノードで実行されていることのないようにします。Amazon EMR は、ノード損失に対する回復性を高めるオープンソース Spark のカスタマイズを備えています。YARN の廃止メカニズムと統合し、Spark の廃止メカニズムと廃止されるノードにおけるアクションを拡張します。
インスタンスフリートの設定方法、Amazon EMR のサービスロール (EMR ロール) の作成方法、および API 仕様については、ドキュメントを参照してください。
Amazon EMR が利用可能なすべての商用 AWS リージョンで、割り当て戦略の Amazon EMR サポートが EMR リリースバージョン 5.12.1 以降で一般提供されるようになりました。これは、Amazon EMR の各リージョンにおける利用可能性を確認するためのリンクです。