投稿日: May 25, 2023
AWS GovCloud (米国西部) リージョンで AWS Glue 4.0 をリリースしたことをお知らせします。AWS Glue 4.0 は、AWS のデータ統合ワークロードを高速化する AWS Glue の新しいバージョンです。AWS Glue 4.0 は Spark エンジンを Apache Spark 3.3.0 と Python 3.10 にアップグレードします。Glue 4.0 は最新の Spark および Python リリースを提供するため、ユーザーはデータ統合ワークロードを開発、実行、拡張し、インサイトをより速く得られます。
AWS Glue はサーバーレスのスケーラブルなデータ統合サービスです。複数のソースからのデータの検出、準備、移動、統合を簡素化します。AWS Glue 4.0 では、組み込みの Pandas API のサポートに加え、Apache Hudi、Apache Iceberg および Delta Lake のデータレイクフレームワークのサポートが追加され、データの分析と保存の選択肢が広がりました。また、RDS、MySQL、SQLServer のようなネイティブの AWS Glue データベースソースのコネクタをアップグレードし、一般的なデータベースソースへの接続を簡素化します。AWS Glue 4.0 では新しい Cloud Shuffle Storage Plugin for Apache Spark のネイティブサポートも追加され、実行中にディスク使用量を拡張できるようになりました。クエリの実行中に動的に最適化する Adaptive Query Execution を有効にします。最後に、AWS Glue 4.0 はエラーメッセージにより多くのコンテキストを追加することで、開発者のエクスペリエンスを向上させます。AWS Glue 3.0 と同様、使用したリソースに対してのみ料金が発生します。
詳細については、AWS のドキュメントをご覧ください。