AWS Glue で Apache Spark 向けの生成 AI アップグレードを発表 (プレビュー)
AWS Glue が Apache Spark 向けの生成 AI アップグレードを発表しました。これは、データプラクティショナーが既存の Spark ジョブを迅速にアップグレードして最新化できるようにする新しい生成 AI 機能です。Amazon Bedrock を活用するこの機能は、Spark スクリプトと構成の分析と更新を自動化し、Spark のアップグレードに必要な時間と労力を数週間から数分に短縮します。
AWS Glue は、サーバーレスのスケーラブルなデータ統合サービスで、分析、機械学習、アプリケーション開発に使用するデータの検出、準備、結合をより簡単に行うことができます。Spark アップグレードでは、AWS Glue コンソールで 1 回クリックするだけで自動アップグレードを開始して、Spark ジョブを古いバージョンから AWS Glue バージョン 4.0 に最新化できます。この機能は、Python ベースの Spark ジョブを分析し、コードの変更と構成の変更を詳述したアップグレードプランを生成します。生成 AI を活用して、テスト実行を Glue ジョブとして実行することで、アップグレードされたコードを繰り返し改善および検証します。検証が成功すると、すべての変更の詳細な概要を確認でき、アップグレードされた Spark ジョブを自信を持ってデプロイできます。この自動化されたアプローチにより、データパイプラインの信頼性を維持しながら、Spark のアップグレードの複雑さを軽減できます。
Apache Spark 向けの生成 AI アップグレードのプレビューは、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (東京)、およびアジアパシフィック (シドニー) の 各 AWS リージョンの AWS Glue で利用できます。詳細については、AWS Glue のウェブサイトにアクセスするか、リリースブログを読むか、ドキュメントをご覧ください。