AWS Glue 5.1 の発表
AWS Glue 5.1 の一般提供が開始され、パフォーマンスの向上、セキュリティアップデート、Apache Iceberg 機能の拡張、データ統合ワークロードの AWS Lake Formation 書き込みサポートが利用できるようになりました。
AWS Glue は、複数のソースからのデータの発見、準備、移動、統合を簡素化する、サーバーレスでスケーラブルなデータ統合サービスです。このリリースでは、コアエンジンが Apache Spark 3.5.6、Python 3.11、Scala 2.12.18 にアップグレードされ、パフォーマンスとセキュリティが強化されています。また、Apache Hudi 1.0.2、Apache Iceberg 1.10.0、Delta Lake 3.3.2 などのオープンテーブル形式ライブラリのサポートも更新されています。
AWS Glue 5.1 では、Apache Iceberg 形式バージョン 3.0 のサポートが導入され、デフォルトの列値、merge-on-read テーブルの削除ベクトル、複数引数の変換、行系統の追跡が追加されました。このリリースでは、AWS Lake Formation のきめ細かなアクセスコントロールが Spark DataFrames と Spark SQL の書き込み操作 (DML と DDL の両方) にも拡張されています。以前は、この機能は読み取り操作のみに制限されていました。AWS Glue 5.1 では、Apache Hudi テーブルと Delta Lake テーブル用の Apache Spark でのフルテーブルアクセスコントロールも追加され、データに対するより包括的なセキュリティオプションが提供されています。
AWS Glue 5.1 は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、欧州 (ストックホルム)、欧州 (フランクフルト)、欧州 (スペイン)、アジアパシフィック (香港)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、アジアパシフィック (マレーシア)、アジアパシフィック (タイ)、アジアパシフィック (ムンバイ)、南米 (サンパウロ) で利用できます。詳細については、AWS Glue のドキュメントを参照してください。