Amazon EMR on EKS が Apache Spark トラブルシューティングエージェントのサポートを開始
Amazon EMR on EKS が Apache Spark トラブルシューティングエージェントをサポートするようになりました。データエンジニアは、分散したログや Spark History Server のデータを手動で調べることなく、自然言語を使用して EMR on EKS のジョブ失敗を診断し、自動化された根本原因分析と PySpark コードの推奨事項を受け取れるようになりました。
このエージェントは、Spark History Server のデータ、分散されたエグゼキューターログ、クラスター設定を分析し、メモリエラー、データスキュー、リソース競合、接続障害などの問題を特定します。今回のリリースにより、Spark トラブルシューティングエージェントは、EMR のすべてのデプロイオプション (EMR on EC2、EMR Serverless、EMR on EKS) に対応しました。このエージェントには、失敗したジョブに表示される [AI によるトラブルシューティング] オプションを使って EMR on EKS コンソールから直接アクセスできます。さらに、このエージェントは、MCP (Model Context Protocol) を介して、Kiro、Claude Code、Cursor など、対応する任意の AI コーディングエージェントから利用することもできます。すべての操作は読み取り専用であり、IAM ロールによって認証され、AWS CloudTrail に記録されます。
Amazon EMR on EKS の Spark トラブルシューティングエージェントは、SageMaker Unified Studio が提供されているすべての AWS リージョンで利用できます。使用を開始するには、EMR on EKS コンソールにアクセスするか、お好みの AI コーディングエージェントで MCP サーバーを設定してください。詳細なガイダンスについては、EMR トラブルシューティングエージェントのドキュメントを参照してください。