投稿日: Apr 21, 2022
AWS Glue Apache Spark ジョブにおけるオートスケーリングの一般利用が可能になりました。AWS Glue 3.0 では、ワークロードに基づいてリソースを動的にスケールアップおよびスケールダウンできるようになりました。オートスケーリングを使用すると、ジョブのリソースを過剰にプロビジョニングしたり、ワーカー数の最適化に時間を費やしたり、アイドル状態のワーカーに料金を支払ったりすることについて心配する必要がなくなります。
AWS Glue はサーバーレスデータ統合サービスです。これにより、データ統合のスケジュールと実行、および抽出、変換、ロード (ETL) ジョブを実行できます。コンピューティングインフラストラクチャを管理する必要はありません。AWS Glue は、ジョブ実行の各段階をモニタリングし、アイドル状態のときにワーカーをオフにしたり、追加の並列処理が可能な場合はワーカーを追加したりします。詳細については、 Glue オートスケーリングのブログ記事、および弊社ドキュメントをご覧ください。
この機能は、 AWS Glue が利用できるすべての商用 AWS リージョン で利用可能になりました。