Amazon EMR Serverless でジョブ実行の同時実行とキューイングの制御を導入
Amazon EMR Serverless は Amazon EMR のサーバーレスオプションで、クラスターやサーバーの設定、管理、スケーリングを行う必要がありません。そのためデータエンジニアやデータサイエンティストは、オープンソースのビッグデータ分析フレームワークを簡単に実行できます。本日、Amazon EMR Serverless でジョブ実行の同時実行とキューイングの制御をサポートするジョブ実行アドミッションコントロールを発表いたします。
ジョブ実行の同時実行とキューイングにより、1 つのアプリケーションに対して実行される同時実行ジョブの最大数を設定し、送信された他のすべてのジョブ実行を自動的にキューに入れることができます。これで、ジョブ実行の送信が急増して API の制限を超えた場合や、アカウントまたはアプリケーションの同時実行 vCPU の上限か基盤となるサブネットの IP アドレスの制限を超えたためにリソースを使い果たした場合でも、ジョブ実行の失敗を防げます。また、ジョブ実行のキューイングのおかげで、制限エラー (同時実行 vCPU の最大数、サブネット IP アドレスの制限など) が原因で失敗したジョブを再試行するための複雑なキュー管理システムを構築する必要がなくなり、ジョブ実行の管理が簡単になります。この機能により、ジョブは自動的にキューに入り、同時実行スロットが使用可能になると処理されるため、リソースを効率的に利用でき、ジョブの失敗を防ぐことができます。
Amazon EMR Serverless のジョブ実行の同時実行とキューイングは、AWS EMR Serverless が利用可能なすべての AWS リージョン (AWS GovCloud (米国) リージョンを含みますが、中国リージョンは除きます) で利用可能です。詳細については、EMR Serverless ドキュメントの「ジョブの同時実行とキューイング」を参照してください。