Amazon SageMaker Unified Studio がデータ処理ジョブで AWS Glue 5.1 のサポートを開始
Amazon SageMaker Unified Studio は、Visual ETL、ノートブック、およびコードベースのデータ処理ジョブ用で AWS Glue 5.1 をサポートするようになりました。Amazon SageMaker Unified Studio で AWS Glue 5.1 を使用すると、データエンジニアとデータサイエンティストは Python 3.11 と Scala 2.12.18 を搭載した Apache Spark 3.5.6 でジョブを実行したり、Apache Iceberg 1.10.0、Apache Hudi 1.0.2、Delta Lake 3.3.2 などの更新されたオープンテーブル形式のライブラリを使用したりできます。
Amazon SageMaker Unified Studio で AWS Glue 5.1 を使用するには、データ処理ジョブを作成するときに、ジョブ設定のバージョンドロップダウンから Glue 5.1 を選択します。これは Visual ETL ジョブ、ノートブックジョブ、およびコードベースのジョブに適用されるため、最新の Spark ランタイムとオープンテーブル形式のライブラリをすべてのデータ処理ワークフローで活用できます。
Amazon SageMaker Unified Studio での AWS Glue 5.1 は、Amazon SageMaker Unified Studio が利用できるすべてのリージョンで利用可能です。詳細については、Amazon SageMaker Unified Studio のドキュメントを参照してください。更新されたオープンテーブル形式のサポートやアクセス制御機能など、AWS Glue 5.1 に含まれる内容の詳細については、AWS Glue のドキュメントを参照してください。