Amazon EMR 用の Apache Spark アップグレードエージェントの発表
AWS は、EC2 上の Amazon EMR と EMR Serverless 向けに Apache Spark バージョンアップグレードを高速化する新機能である Apache Spark アップグレードエージェントを発表しました。エージェントは、コード分析と変換を自動化することで、通常は数か月かかる複雑なアップグレードプロセスを、数週間にわたるプロジェクトに変換します。組織は、Spark のアップグレード中に、API の変更の分析、競合の解決、アプリケーションの検証に多大なエンジニアリングリソースを費やしています。エージェントには、エンジニアがコード変更を完全に制御しながら、アップグレード要件を自然言語で表現できる会話型インターフェイスが導入されています。
Apache Spark アップグレードエージェントは、PySpark アプリケーションと Scala アプリケーションの全体で API と動作の変更を自動的に識別します。エンジニアは、MCP (モデルコンテキストプロトコル) の互換性を利用して、SageMaker Unified Studio、Kiro CLI、または選択した IDE から直接、アップグレードを開始することができます。エージェントはアップグレードプロセス中に既存のコードを分析して具体的な変更を提案するので、エンジニアは実装前に変更をレビューして承認できます。エージェントは、データ品質検証を通じて機能正確性を検証します。エージェントは現在、Spark 2.4 から 3.5 へのアップグレードをサポートしており、アップグレードプロセスの全体を通じてデータ処理の正確性を維持します。
Apache Spark アップグレードエージェントは、SageMaker Unified Studio が利用可能なすべての AWS リージョンで利用できるようになりました。エージェントの使用を開始するには、SageMaker Unified Studio にアクセスして IDE スペースを選択するか、Kiro CLI をインストールしてください。詳細な実装ガイダンス、リファレンスドキュメント、移行例については、ドキュメントをご覧ください。