AWS Glue で、Apache Spark 2.4.3 (Python 3 使用) で ETL ジョブを実行する機能のサポートを開始

AWS Glue で Apache Spark インフラストラクチャが更新され、ETL ジョブ向けに Apache Spark 2.4.3 が (Apache Spark 2.2.1 に加えて) サポートされるようになりました。これにより、このバージョンの Apache Spark で提供される安定性の修正と新機能を利用できるようになります。 

ジョブプロパティで Glue のバージョンを選ぶことにより、Glue ジョブを実行する Apache Spark インフラストラクチャを選択できます。Glue のバージョンを指定せずに作成した既存の ETL ジョブの Glue のバージョンは、デフォルトで 0.9 になります。Glue のバージョン 1.0 を使用した Glue ジョブは、Apache Spark 2.4.3 で実行されます。Spark の最新バージョンがサポートされることに加えて、ETL ジョブ向けに Python 2 と Python 3 のどちらかを選択することもできます。 

この機能の活用方法についての詳細は、AWS のドキュメントおよびリリースノートを参照してください。 

この機能は、AWS GovCloud (米国東部) および AWS GovCloud (米国西部) を除く、AWS Glue が利用可能なすべての AWS リージョンで利用できます。