投稿日: Nov 20, 2023
AWS Glue ジョブのモニタリングとデバッグを強化する 2 つの機能の一般提供を開始することを発表いたします。その 2 つの機能は、AWS Glue サーバーレス Apache Spark UI と AWS Glue オブザーバビリティメトリクスです。AWS Glue サーバーレス Spark UI は、AWS Glue Spark ジョブに関する詳細情報を取得できる新しい機能です。今回のリリースにより、AWS Glue Studio で実行されるすべての AWS Glue Spark ジョブの詳細を確認できるようになりました。AWS Glue サーバーレス Spark UI では、スケジューラのステージ、タスク、エグゼキューターに関する情報を取得できます。AWS Glue オブザーバビリティメトリクスでは、ジョブの信頼性、パフォーマンス、スループット、リソース使用率に関するインサイトを入手できます。この 2 つの新しい機能により、よくあるエラークラスと根本原因を一緒にデバッグすることや、集約ワーカーのパフォーマンスを分析することができます。また、Glue ジョブのデータの偏りをモニタリングすることもできます。
AWS Glue Studio のジョブモニタリングを使用して、サーバーレス Spark UI とオブザーバビリティメトリクスの両方を表示できます。サーバーレス Spark UI には、Glue Studio の Glue ジョブのページにある新しい [Spark UI] タブからアクセスできます。また、AWS Glue Studio のジョブ実行モニタリングページに移動して、サーバーレス Spark UI とオブザーバビリティメトリクスの両方を表示することもできます。AWS Glue サーバーレス Spark UI はフルマネージド型で、管理が必要なインフラストラクチャはありません。AWS Glue オブザーバビリティメトリクスは、Amazon CloudWatch に発行されます。
AWS Glue サーバーレス Spark UI とオブザーバビリティメトリクスは AWS Glue 3.0 以降でご利用いただけます。また、AWS Glue が提供されているすべての商用リージョンが対象となります。
詳細については、サーバーレス Spark UI とオブザーバビリティメトリクスに関するドキュメントをご覧ください。