AWS Glue 6.0 が 30% 低価格で利用可能になり、Apache Iceberg v3 が完全にサポートされます

2026 年 8 月 21 日、AWS Glue 6.0 の一般提供について発表しました。これにより、価格が以前の AWS Glue バージョンよりも 30% 低くなり、Apache Iceberg v3 の機能が完全にサポートされるようになりました。AWS Glue 6.0 は、完全に近代化されたランタイム、Apache Spark 4.1、Python 3.12、および Scala 2.13 に基づいて構築されており、より高速なパフォーマンスを実現しています。

このリリースにより、AWS Glue は、完全にサーバーレスのマネージド型の Spark サービスで最も完全な Iceberg v3 実装を実現するとともに、ETL オーサリングを簡素化し、 PySpark のパフォーマンスを向上させ、1桁ミリ秒のレイテンシーでリアルタイムストリーミングを可能にする新機能も提供します。

AWS Glue 6.0 の新機能は何ですか
AWS Glue 6.0 は、Iceberg 1.11.0 をベースに構築された完全なApache Iceberg v3仕様を提供します。主な特長は、シュレッダ処理をサポートする VARIANT データ型です。これにより、半構造化データ用の従来の文字列データ型の列と比較して、クエリの読み取りパフォーマンスが向上します。

VARIANT のシュレッディングを使用すると、スキーマをフラット化しないで JSON、ログ、イベントデータを保存してクエリできます。これにより、スキーマが変更されたときに重複するデータコピーやカスタム解析コード、パイプラインが破損することがなくなります。この機能により、チームが半構造化データの大規模処理の方法が変わります。

Iceberg v3 のその他の機能には以下が含まれます。

• 幾何学と地理データタイプ: GIS分析、ロケーションインテリジェンス、および地理空間データパイプラインのネイティブ空間処理をマネージド Spark で直接有効にします。
• ナノ秒精度のタイムスタンプ: 標準ミリ秒を超える精度を必要とする IoT センサーデータ、科学計算、および高頻度の金融ワークロードをサポートします。
• 未知の型処理: パイプラインに障害が発生することなく、予期しないスキーマや、進化するスキーマを含むデータを処理できるため、上流のスキーマ変更に対する回復力が高まります。

AWS Glue 6.0 には、最新のランタイムエンジンである Spark 4.1 の最も重要なアップグレードも含まれています。

• Spark 宣言型パイプライン: Spark 宣言型パイプラインでは、ETLオーサリングへのシンプルなアプローチが導入されています。データエンジニアは変換を宣言してデータをどのように表示するかを指定し、エンジンは実行順序と最適化を自動的に決定します。これにより、パイプライン開発の複雑さが軽減され、手動によるオーケストレーションのオーバーヘッドがなくなります。
• アローネイティブ Python UDF と UDTF : AWS Glue 6.0 では、Python ユーザー定義関数 (UDF) とユーザー定義テーブル関数 (UDTF) の Arrow ネイティブ実行が導入されました。これにより、Python と JVM 間のシリアル化のオーバーヘッドがなくなり、複雑な変換での PySpark のパフォーマンスが向上します。
• リアルタイムストリーミングモード: AWS Glue 6.0 では、ステートレスストリーミングのユースケース向けに、1桁ミリ秒のレイテンシーを実現するリアルタイムストリーミングモードが導入されています。Glue に最適化された実行機能を備えた Spark 4.1 のリアルタイムモードに基づいて構築されたこの機能は、リアルタイムのイベント処理、低遅延のデータ変換パイプライン、および時間に敏感なデータルーティングをサポートします。

AWS Glue 6.0 の開始方法
AWS Glue 6.0 を使用するのに、API を変更する必要はありません。AWS コマンドラインインターフェイス (AWS CLI)、AWS SDK、AWS Glue Studio、Amazon SageMaker Unified Studio、および優先する IDE から create-job または update-job API で既存の --glue-version パラメーターを使って、新しいバージョンを選択することができます。

AWS Glue 6.0 ジョブをAWS Glue Studio コンソールで開始するには、[AWS Glueジョブ] を開き、ジョブ詳細タブで、バージョン Glue 6.0 – Spark 4.1、Scala 2、Python 3 をサポートを選択します。AWS Glue 6.0で新しい AWS Glue ジョブを作成することで、改善によるメリットを受けること、および既存の AWS Glue ジョブを移行することもできます。

AWS Glue 6.0 を AWS Glue Studio ノートブックで使用したり、Jupyter Notebook を介してインタラクティブセッションを開始したりするには、%glue_version マジックで 6.0 を設定してください。 また、AWS Glue Studio の Spark アップグレードエージェントを使用して既存のジョブを Glue 6.0 にアップグレードしたり、既存の Glue ジョブの自動アップグレード機能を使用して自動的に Glue 6.0 にアップグレードしたりすることもできます。

詳細については、AWS ドキュメントの「AWS Glue 6.0 バージョンの詳細」および「AWS Glue for Spark ジョブの AWS Glue バージョン 6.0 への移行」を参照してください。

今すぐご利用いただけます
AWS Glue 6.0 は現在、AWS Glue が運用されているすべての AWS リージョンで一般的に利用可能です。リージョンごとの提供状況や今後のロードマップについては、リージョン別の AWS 提供機能にアクセスしてください。API を呼び出したり、ドキュメントを検索したり、リージョンごとの提供状況を確認したり、この新機能に関するトラブルシューティングを確認したりする場合は、お好みの AI ツールで AWS MCP Server とプラグインを使用してみてください。

クローラー (データの検出) と抽出、変換、ロード (ETL) ジョブ (データの処理と読み込み) には、時間単位の料金を秒単位で請求します。AWS Glue データカタログの場合は、メタデータの保存とアクセスにシンプルな月額料金を支払う必要があります。最初の 100 万個のオブジェクトは無料で、最初の 100 万個のアクセスは無料です。詳細については、AWS Glue 料金表ページをご覧ください。

AWS Glue Studio コンソールでお試しいただいた後、AWS re:Post for AWS Glue または通常の AWS サポート窓口までフィードバックをお寄せください。

– Channy

原文はこちらです。